Recap | 在清华,遇见 Apache Pulsar 和 Apache IoTDB

原创
2020/01/07 17:30
阅读数 242


🎙️阅读本文需 5 分钟


20 年代的第一个周末,我们与 IoTDB 社区的小伙伴们一同在清华大学里合办首场线下 meetup,分享了关于 Pulsar 和 IoTDB 相关的各种干货,和两个社区的小伙伴们共同探讨了许多相关的知识,收获多多鸭。


本次活动有幸邀请到了 Apache member 姜宁大佬来现场主持,同时特别感谢腾讯社区的小伙伴们不远万里来现场支持直播!



本次分享的主要内容为:


  • 翟佳: Apache Pulsar——从消息系统到流原生平台
  • 黄向东: Apache IoTDB 的前世今生与技术细节揭秘
  • 刘涛&李志波: 腾讯海量数据 MQ 实践与 Apache Pulsar 新技术落地
  • 乔嘉林: 基于 IoTDB 打造时序数据全生命周期管理的开源解决方案
  • 俄广宁: Pulsar IO 运行原理与开发实践

更多细节概况,一起往下看吧。



🎙️Apache Pulsar——从消息系统到流原生平台


来自 StreamNative 的翟佳为大家详细介绍了 Pulsar 的架构和细节分析。

🙋‍♂️内容包括:

1. Apache Pulsar 的产生背景及其定义。

2. Pulsar 与其他消息队列产品相比,具有的差异化亮点。 主要从统一的消费模型、多租户和跨地域复制的企业级特性、云原生和分层分片架构等特点来进行描述。

3. Pulsar 如何实现从一个分布式消息系统演进成一个完整的流原生实时数据平台。

翟佳主要从数据存储层、Schema Registry、Pulsar Function/IO/SQL 等功能入手,进一步讲述 Pulsar 的流原生特性。

4. 最后还讨论了 Pulsar 的生态和社区,并通过列举雅虎、智联招聘和腾讯计费的用户案例,进一步证明了 Pulsar 在各领域的实用性和扩展性。

📌此 topic 的演讲原件链接:
https://www.slidestalk.com/ApachePulsar/PulsarStreamNativeJia4336272


🎙️Apache IoTDB 的前世今生与技术细节揭秘


来自清华大学大数据系统软件国家工程实验室的黄向东老师,为我们揭秘了 IoTDB 的发展和技术细节。

🙋‍♂️内容包括:

1. 工业场景下的时序数据库需求与当下挑战。


2.从 Cassandra 到 IoTDB。由于 Cassandra 的研发式分布效果性能一般,并且受制于人,而 Apache IoTDB 的功能特点以及灵活的产品形态和完善的技术架构,让其开始大放光彩。


3. IoTDB 的单机千万点写入性能。从 Schema、内存表到数据写入和刷写磁盘,通过多角度的数据呈现,体现出 IoTDB 的编码能力和高压缩高吞吐、高效查询的出色效果。


最后通过上海地铁运维监控的实例,讲述了  IoTDB 的实践效果。

📌此 topic 的演讲原件链接:
https://www.slidestalk.com/ApachePulsar/ApachePulsarApacheIoTDBIoTDB24397


🎙️腾讯海量数据 MQ 实践与 Apache Pulsar 新技术落地


专门从深圳飞来的腾讯大数据技术人员刘涛和李志波为我们分享了腾讯数据应用 Pulsar 的相关介绍。

🙋‍♂️内容包括:

1. 海量数据技术的演进,对数据处理的需求也不断提高。

2. 拥抱开源,选择 Pulsar。 由于目前使用了多种接入方式,导致维护成本较高。 在看中了 Pulsar 的高一致性与 IO 隔离等特点后,选择了用 Pulsar 进行部署。

3. 目前 Pulsar 在腾讯数据平台已与内部数据进行对接,并应用到对账指标等一些业务。 降低了用户的接入门槛,并完善了前后端对接。 但同时也遇到了一些问题,比如 Bookie 进程的退出,重度依赖 Zookeeper。

在最后的后续计划中,针对以上出现的问题也进行了规划,比如切换现有存量业务、接入高可靠业务等。

📌此 topic 演讲原件链接:
https://www.slidestalk.com/ApachePulsar/MQPulsar51372


🎙️基于 IoTDB 打造时序数据全生命周期管理的开源解决方案


来自清华大学软件学院的乔嘉林也在此次分享了关于 IoTDB 在开源周期管理上的相关介绍。

🙋‍♂️内容包括:

1. 通过风力发电厂的场景带入,引入静态和动态的数据表征。

2. IoTDB 架构介绍。 分析了 IoTDB 组件的构成、基本概念和元数据等基础层面。 随后,乔老师从存储结构和存储引擎的功能特性角度,进一步深入探讨了 IoTDB 的架构。

3.开源解决方案。 通过引入 IoTDB 生态,进一步讲解了采集、存储、可视化等特点。

最后展示了  IoTDB 的操作台,真正诠释了「麻雀虽小,五脏俱全」。

📌此 topic 演讲原件链接:
https://www.slidestalk.com/ApachePulsar/ApacheIoTDB59230


🎙️Pulsar IO 运行原理与开发实践


最后,来自 StreamNative 的工程师俄广宁详细介绍了 Pulsar IO 中的运行原理与开发实践。

🙋‍♂️内容包括:

1. Functions Worker 中各个组件及其运作机制。 从订阅模式到生产消费、Membership 的构成以及多个 manager 的语言构成分解。

2.Pulsar IO 如何运行在 Functions Worker 上。 从 Producer 和 Consumer 端进行 source 和 sink 中数据的变化。

3. Pulsar IO 的基本概念,初始化方法,以及数据流动原理。

最后讲解了以连接 IoTDB 为例的 Connector 开发实践和调解步骤。

📌此 topic 演讲原件链接:
https://www.slidestalk.com/ApachePulsar/PulsarIOguangning51257


>>> 总结 <<<

此次的 Apache IoTDB x Apache Pulsar 联合 Meetup,两个社区的小伙伴们都开阔了眼界。

开源的氛围是多样的,我们能体会的知识更是多层次的。感谢到场的小伙伴们认真倾听,期待未来 Pulsar 会有更多更好的分享带给大家,呈现出更好的线下交流状态。

希望大家通过此次线下技术分享会,能进一步加深对 Pulsar 和 IoTDB 的了解,并积极参与开源社区的活动。

📌本次分享的所有 slides 可点击 「阅读原文」 进行查看

📌本次直播回放:
https://r.nsini.com/ElYqzmPWR

本文分享自微信公众号 - StreamNative(StreamNative)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部