视频回顾 | Pulsar Summit Asia 2020 · 英文专场:汇聚全球 Pulsar 开发者精彩

原创
2020/12/18 20:00
阅读数 40

关于 Apache Pulsar

Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。
当前已有众多国内外大型互联网和传统行业公司采用 Apache Pulsar,案例分布在人工智能、金融、电信运营商、直播与短视频、物联网、零售与电子商务、在线教育等多个行业,如美国有线电视网络巨头 Comcast、Yahoo!、腾讯、中国电信、中国移动、BIGO、VIPKID 等。

关于 Pulsar Summit

Pulsar Summit 是由 StreamNative 组织的 Apache Pulsar 社区年度盛会,它将分布在世界各地的 Apache Pulsar 项目 Contributor、Committer 和各企业 CTO/CIO、开发者、架构师、数据科学家,以及消息和流计算社区的精英召集在一起。Pulsar Summit Asia 旨在聚集亚洲地区 Pulsar 开发者和贡献者,促进 Apache Pulsar 在亚洲地区的发展。


Pulsar Summit Asia 2020 已于 11 月 28-29 日顺利举办。我们将陆续整理发布 Pulsar Summit Asia 2020 回顾视频,即使错过当日直播也能帮你了解精彩分享。今日推送 Pulsar Summit Asia 2020 英文专场内容,敬请查收哟!

最佳实践:从 Pulsar 到 Elastic 的流数据处理分析

Ricardo Ferreira

Elastic 首席布道师

视频介绍:在数据快速增长的世界中,数据如果无法及时使用,将失去时效性和利用价值。为了最大限度地提高数据对企业的价值,我们必须洞察数据并据此对决策给予指导。本次演讲将讨论如何最大化发挥 Apache Pulsar 作为流数据层和弹性分析技术栈的特长,帮助企业快速挖掘数据价值。同时,我也将分享如何在 ElasticSearch 中进行数据处理和挖掘。

基于 Apache Pulsar 消息流技术支撑的持续智能实践

Simon Crosby

Simon Crosby 是 Swim 首席技术官。Swim 提供了第一个开放式企业级平台,可实现大规模连续智能,从而随时为企业提供完整的态势感知和运营决策支持。Simon 于 2010 年与他人共同创立了 Bromium(现为 HP SureClick),目前担任战略顾问。在此之前,他曾担任 Citrix Systems 数据中心和云部门的 CTO。他曾是英特尔公司的首席工程师,也是剑桥大学的一名教师,在那里他领导了有关网络性能、控制和多媒体操作系统的研究。Simon 也是 DCVC 的股权合作伙伴,是美国剑桥的董事会成员,也是众多初创公司的投资者和顾问。他是 35 项研究论文和专利的作者,涉及许多数据中心和网络主题,包括安全性、网络和服务器虚拟化以及资源优化和性能。他拥有剑桥大学的计算机科学博士学位,南非的斯泰伦博斯大学的理学硕士学位以及南非的开普敦大学的计算机科学和数学理学学士学位(荣誉学位)。

视频介绍:Apache Pulsar 在帮助开发者征服大数据流方面发挥着关键作用,但许多用户仍然难以从多种数据源中获得价值。尽管流数据不会停止——其中很多只是短暂有用,继续使用“先存储后分析”架构的数据管道也经常跟不上业务要求的响应速度,因为数据库访问速度要比访问 CPU 慢一百万倍,速度上带来的迟缓则会造成批处理分析出来的业务洞察和响应很快失效。本次演讲将介绍借助 Apache Pulsar 的实时事件数据功能,SwimOS 如何基于“分析和反馈”架构进行业务数据分析、学习和持续预测。

Databases in the Microservices World

Rob Richardson

视频介绍:Web technologies have come leaps and bounds. But are you still using the tired old database from the last generation? Let's look at the methodology of microservices, compare it to bounded contexts, and look at ops tasks for micro-databases. Let's tour all the flavors of databases, understand their pros and cons, and when you would choose it. You'll leave with a roadmap for moving from data-monolith to micro-databases. How do we string together the microservices and data stores? Are we chained to the enterprise service bus? Let's look at the variety of databases and match them with event sourcing technologies and microservice needs.

Apache Pulsar 助力 Chatroulette 视频聊天业务,联接全球千万用户

Gabriel Volpe

Chatroulette 软件工程师,资深 Haskell & Scala 工程师,Nix 爱好者,Vim 忠粉,《Practical FP in Scala》一书作者

Tamer Abdulazim

Tamer 是 Bitspire 首席软件工程师,他致力于帮助初创团队构建大规模数据系统,Apache Pulsar 是此大规模系统的核心技术。他的领域涉及大数据、实时数据分析和在线机器学习模型构建等方向。

视频介绍:Pulsar 是 Chatroulette 视频聊天平台的核心技术支撑,助力 Chatroulette 联接全球的用户。Chatroulette 核心平台组件主要目的是将 WebSocket 和临时 topic 打通联接,并能按需进行水平扩展。我们还将 Pulsar 用作数据管道的关键技术,一个 Pulsar 窗口函数就能支撑在时序数据库中大吞吐量地验证、存储数百万个日常分析事件。此外,我们还采用了函数式编程(FP)范式,并开发开源了 Pulsar 的 Scala 和 Haskell(函数式编程语言)的客户端。

Apache Pulsar 集群的安全审计与认证实践

Shivji Kumar Jha

Shiv 是 Nutanix 的高级软件开发工程师,目前在 Beam 团队帮助 Nutanix 客户最大限度地降低云成本和混合云使用的安全风险。Shiv 在数据存储(数据库/流/分析等)有着强烈兴趣,并且是 MySQL 和 Pulsar 项目的贡献者。Shiv 也是一个狂热的读者(科技/科幻/经济等),并且始终追求简化软件架构的方法。

视频介绍:一个 Pulsar 实例包括了 1 到 多组 Pulsar 集群,1 组集群又包括 1 个 broker 集群、1 个 BookKeeper 集群和 1 个 ZooKeeper 集群。当然每个都有提供模块和灵活的设计,在网络上有大量数据流动,其中在应用中也有大量安全相关的联接,比如集群内和集群间。在 Nutanix,我们已在安全环境部署了 Apache Pulsar 并通过了大量基础设施认证的安全审计。在本环节,我将分享如何设置网络通信的认证、审计来确保 Pulsar 部署安全。

BKVM 3.0 新特性解读:BookKeeper 可视化管理器

Matteo Minardi

Matteo Minardi 是 MagNews.com 和 EmailSuccess.com 的一名软件工程师,目前任职于研发团队。他也是开源爱好者和 BookKeeper 可视化管理器的创建人。 

Enrico Olivelli

Enrico Olivelli 是 https://magnews.com 和 https://emailsuccess.com.he 的首席开发经理,也是 Apache ZooKeeper和 Apache BookKeeper 项目的 PMC 成员、Apache Maven Committer,同时还是一些开源分布式系统如 HerdDB 和 BlazingCache 的项目作者。

视频介绍:在本环节,我们将分享即将发布的 BKVM 版本新特性,BookKeeper 可视化管理器也将会与 Pulsar Manager 集成打通。 

技术剖析:借助 Pulsar Function 开启 Serverless 新时代

Axel Sirota

Axel Sirota 拥有数学学士学位,在深度学习和机器学习方面拥有浓厚的兴趣。在研究概率论、统计学和机器学习优化之后,他目前任职 JAMPP 担任机器学习研究工程师,致力于利用客户数据来进行实时投标的精准预测工作。

视频介绍:有多少次需要于不同的 topic 间进行切换,但在部署整个服务时遇到问题?此刻,你可能想到使用 AWS Lambda 函数,但又觉得它们非常昂贵?Pulsar 自 2.0 版本开始提供了一个原生、Serverless 架构及轻量型的计算选项 Pulsar Function,让之前几周的工作量可以在几小时内完成!在本环节中,我们将探讨 Pulsar Function 相关技术细节及原理、为何 Pulsar Function 可以满足我们的需求,以及如何在 Apache Pulsar 运行 Serverless 处理任务。

案例剖析:Splunk 妙用 Pulsar IO

Jerry Peng

Boyang Jerry Peng 目前是 Splunk 首席软件工程师,致力于流/消息项目。Jerry 是 Apache Pulsar、Apache Storm 和 Apache Heron 项目的 Committer 和 PMC 成员。在加入 Splunk 之前,他曾在 Streamlio(被 Splunk 收购)、Citadel 和 Yahoo 从事分布式系统和流处理方面的工作。自从在伊利诺伊大学厄巴纳-香槟分校的研究生院就读以来,Jerry 一直从事分布式系统和流处理领域的工作。

视频介绍:在 Splunk,我们已经决定放弃支持 DSP(数据流处理器)连接器框架的自研平台,迁移到由 Pulsar IO 驱动的框架。在这次演讲中,我将回顾我们选择使用 Pulsar IO 框架的评估和决策过程。我还将讨论 Splunk 的 DSP 产品是如何利用 Pulsar IO 框架的,特别是支持批处理源——这一 Pulsar IO 近期新增的功能。其次,还会分享 Splunk 对 Pulsar Function/IO 功能在可扩展性和稳定性方面做出的贡献。最后,我也会讨论后续在 Splunk 进一步利用和使用 Pulsar IO/Function 的计划与展望。

条分缕析 Pulsar 与 Kafka:你不知道的 Pulsar 那些事

Jesse Anderson

Jesse Anderson 是一名数据工程师,在大数据学院担任核心工程师和总经理一职。在大数据方向,他服务过的公司从初创团队到财富 100 强都有覆盖,比如类似 Apache Kafka/Apache Hadoop/Apache Spark 这样的新技术培训目前授课人数已超过 30,000人。Jesse 也曾在 O'Reilly 和 Pragmatic Programmers 上发表过相关内容,也曾在华尔街日报/ CNN/ BBC/ NPR/ Engadget 和《连线》杂志多次出镜。

视频介绍:Apache Kafka 是相对流行的消息“发布-订阅”框架,很多人都想了解 Kafka 和 Pulsar 相同与不同之处。本演讲将尝试从 Kafka 的角度谈谈 Pulsar,并解释 Pulsar 在改进和增强“发布-订阅”框架中的最新技术演进。本次分享希望帮助人们准确理解 Kafka 和 Pulsar 之间的异同,也能对考虑从 Kafka 迁移到 Pulsar 的公司/用户提供更详细的参考。

Apache Pulsar :对标 Kafka,超越 Kafka!

William McLane

TIBCO 软件布道师

视频介绍:众所周知,Apache Kafka 已成为开源流处理的标准,但在 Kafka 无法满足业务快速发展带来的技术需求时,该怎么办呢?建议来听听我的分享,看看 Pulsar 如何借助 KoP(Kafka on Pulsar)无需让你大改魔改而出现鬼斧神工的变化,了解下 TIBCO 如何将 Apache Pulsar 作为消息平台核心组件来支撑多种使用场景,满足我们实时数据分发、可伸缩扩展的流处理以及无缝云端及现场部署需求的案例。本分享聚焦在 Apache Pulsar 提供高性能、全局分布式流处理方向,以及在现有 Kafka 集群基础之上借力 Pulsar 实现更大拓展。

云原生 BookKeeper:BP-41 提案中的新特性, Bookie 网络地址变更跟踪

Enrico Olivelli

Enrico Olivelli 是 https://magnews.com 和 https://emailsuccess.com.he 的首席开发经理,也是 Apache ZooKeeper和 Apache BookKeeper 项目的 PMC 成员、Apache Maven Committer,同时还是一些开源分布式系统如 HerdDB 和 BlazingCache 的项目作者。

视频介绍:在本分享中,我将解析 Apache BookKeeper 的一个全新功能特性,该功能特性支持 Bookie 具备动态网络地址和多端点功能。

技术探究:Apache Pulsar 结构化数据流

Shivji Kumar Jha

Shiv 是 Nutanix 的高级软件开发工程师,目前在 Beam 团队帮助 Nutanix 客户最大限度地降低云成本和混合云使用的安全风险。Shiv 在数据存储(数据库/流/分析等)有着强烈兴趣,并且是 MySQL 和 Pulsar 项目的贡献者。Shiv 也是一个狂热的读者(科技/科幻/经济等),并且始终追求简化软件架构的方法。

视频介绍:在围绕 Apache Pulsar 之类的消息总线构建的应用程序中,类型安全至关重要。类型的定义和演进既可以内置在应用程序中,也可以依赖数据层提供即开即用的支持,从而使应用程序仅专注于业务逻辑,而不是数据的存储和演讲方式。Apache Pulsar 为结构化流提供了服务器以及客户端双向支持。在我们的 Nutanix Beam 应用程序中,我们已经使用 Pulsar 在生产环境微服务之间进行异步通信超过一年的时间。该演讲将分享有关 Apache Pulsar 服务器和客户端相关功能的技术细节,并分享我们如何使用 Pulsar Schema 来支撑我们的场景业务。

系列推荐

视频回顾 | Pulsar Summit Asia 2020 · 技术探究与生态:解析 Pulsar 组件,生态融合视频回顾 | Pulsar Summit Asia 2020 · 场景案例(下):覆盖 IoT、电商、联邦学习、能源互联网等行业视频回顾 | Pulsar Summit Asia 2020 · 场景案例(上):即时零售, 金融证券, 物联网, 电信计费等视频回顾 | Pulsar Summit Asia 2020 · 主题演讲

点击「阅读原文」,关注 Pulsar Summit Asia 2020 演讲视频动态

本文分享自微信公众号 - StreamNative(StreamNative)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部