脉冲星 8 月脉动 | Pulsar 大放异彩,里程碑一个接一个!

2020/09/01 18:30
阅读数 0

🔍 本月看点速览

  • 产品动态

    • 新增 PIP

    • 新增功能

    • Bug 修复

  • 社区动态

    • 海内外社区动态

    • 技术干货





关于 Apache Pulsar



Apache Pulsar 是 Apache 软件基金会顶级项目,是下一代云原生分布式消息流平台,集消息、存储、轻量化函数式计算为一体,采用计算与存储分离架构设计,支持多租户、持久化存储、多机房跨区域数据复制,具有强一致性、高吞吐、低延时及高可扩展性等。




导语



各位小伙伴们,Pulsar 社区月报如约而至!


本月 Pulsar 社区内发生了很多「大事」。经历 8 个月后,项目贡献者已从 200 人到达 300+,突飞猛进。同时产品部分,Pulsar 也从 2.6.0 更新到了 2.6.1,修复了之前的 bug,合并了来自社区的 102 个 commit,感谢以下各位大佬本月对 Pulsar 项目的支持,让 Apache Pulsar 继续发光发热!(排名不分先后,看看你有没有上榜 🏆🏆):



@jianyun8023、@315157973、@ebyhr、@BewareMyPower、@hangc0276、@wolfstudy、@sijie、@srkukarni、@jiazhai、@merlimat、@sijia-w、@Jennifer88huang、@Mefl、@codelipenghui、@geetha-rangaswamaiah、@zhanghaou、@RobertIndie、@BewareMyPower、@rudy2steiner、@gaoran10、@massakam、@zymap、@aahmed-se、@MarvinCai、@Bklyn






产品动态



Go Client 0.2.0 版本已发布,更多功能介绍可以参考下方链接。

https://github.com/apache/pulsar-client-go/blob/master/CHANGELOG.md#feature


🧰 新增 PIP


PIP 69: Schema design for Go client


在基于 Pulsar 构建的一系列应用程序中,类型安全是一个很重要的特性。当前 Apache Pulsar 已经支持了 Schema Registry 的功能。并且 Java、CPP 和 Python clients 已经支持了 Schema 相关的功能。为了进一步完善 Go client 的功能,我们也需要在 Go client 中支持 Schema Registry。

更多详情查看:
https://github.com/apache/pulsar/wiki/PIP-69%3A-Schema-design-for-Go-client


🧰 新增功能


  • Broker:支持在 Topic 级别设置 MaxUnackedMessagesOnConsumer

    https://github.com/apache/pulsar/pull/7818


  • Broker:支持在 Topic 级别设置 persistence 策略

    https://github.com/apache/pulsar/pull/7817


  • Broker:支持在 Topic 级别进行重复数据删除

    https://github.com/apache/pulsar/pull/7821

  • Java Client:支持批量消息签收

    https://github.com/apache/pulsar/pull/7688


  • Python CLient:在 Python 客户端添加 oauth2 封装

    https://github.com/apache/pulsar/pull/7813


  • Java Client:支持在生产者和发送者设置 autoPartitionsUpdateInterval 

    https://github.com/apache/pulsar/pull/7840


  • Transaction:改进对消费事务消息的支持

    https://github.com/apache/pulsar/pull/7781


  • Transaction:支持将生产的事务型消息发送到 Pulsar broker 并执行提交命令

    https://github.com/apache/pulsar/pull/7552


  • Topic Policy:支持在 Topic 级别设置存留配额

    https://github.com/apache/pulsar/pull/7747


  • Topic policy:支持在 Topic 级别设置 MaxUnackMessagesPerSubscription 

    https://github.com/apache/pulsar/pull/7802


  • Topic policy:支持设置 Topic 级别的消息延迟策略

    https://github.com/apache/pulsar/pull/7784


  • Build:将 Presto 升级到 332 版本

    https://github.com/apache/pulsar/pull/7194


  • Pulsar-IO hdfs2:增加从当前时间创建子目录的配置,方便批量处理 HDFS 文件

    https://github.com/apache/pulsar/pull/7771


  • Broker:增加支持对 ZooKeeper 缓存执行器线程池大小可配置

    https://github.com/apache/pulsar/pull/7794


  • Broker:增加支持对 orderedExecutor 线程数可配置

    https://github.com/apache/pulsar/pull/7765


🔧 Bug 修复


  • Java Client:避免重复订阅同一主题

    https://github.com/apache/pulsar/pull/7823


  • Broker:当通过 message ID 查询消息时,如果当前 broker 不负责此 topic,重定向至 owner broker

    https://github.com/apache/pulsar/pull/7786


  • Java Client:修复 PersistentAcknowledgmentsGroupingTracker 中的 pendingBatchIndexAcksbitSet 和 batchSize

    https://github.com/apache/pulsar/pull/7828


  • CPP Client:修复因 seeking 或关闭消费者而导致的竞态条件

    https://github.com/apache/pulsar/pull/7819


  • Security:修复 Pulsar 组件安全漏洞

    https://github.com/apache/pulsar/pull/7801


  • Security:运用 ‘allowTopicOperationAsync’ 来检查原始角色是否是超级用户

    https://github.com/apache/pulsar/pull/7788


  • Security:在源/接收器/功能操作之间区分授权

    https://github.com/apache/pulsar/pull/7466


  • CPP client:修复 Oauth2 认证中的 issuer_url 解析失败问题

    https://github.com/apache/pulsar/pull/7791


  • CPP client:修复创建 reader 时的引用泄漏

    https://github.com/apache/pulsar/pull/7793


  • Admin Client:确保当从一个不存在的 namespace 删除一个分区主题时返回 404 报错

    https://github.com/apache/pulsar/pull/7777


  • Broker:修复创建 ledger 超时时 producer 卡顿的问题

    https://github.com/apache/pulsar/pull/7319





社区动态:多个里程碑



📣 Pulsar 贡献人数超 300

8 月 21 日,Apache Pulsar 的 GitHub 项目 contributor 数量正式超过 300 位。距离 200 人仅过去 8 个月,感谢各位的积极参与和项目共享。Pulsar 也因你们更精彩!


更多详情可查看➡️ Apache 软件基金会顶级项目 Pulsar 达成新里程碑:全球贡献者超 300 位!


📣 Pulsar 云服务功能上线

Apache 顶级项目 Pulsar 背后的开源流数据公司 StreamNative 宣布,推出基于 Apache Pulsar 的云端服务产品——StreamNative Cloud。该产品的发布,让 Pulsar®-as-a-Service(PaaS)成为现实 ,加速 Pulsar 推广与落地,助力企业推进“流优先”策略。


更多详情可查看➡️ 开源流数据公司 StreamNative 推出 Pulsar 云服务,推进企业“流优先”进程


📣 2.6.1 版本上线

8 月 21 日,Pulsar 2.6.1 版本正式上线。此版本修复了 2.6.0 版本中的诸多问题,改进了一些功能,新增了对 OAuth2 的支持,覆盖了 Broker、Pulsar SQL、 Pulsar Functions、Go Function、Java Client 和 Cpp Client,进一步丰富了 Pulsar 作为云原生流数据平台的能力。


更多详情可查看➡️ Apache Pulsar 2.6.1 版本正式发布:2.6.0 功能增强版,新增 OAuth2 支持


📣 Pulsar 联合 TiDB 推出大数据场景数据应用分析解决方案

Pulsar 与 TiDB 推出联合解决方案,提供实时、高吞吐、稳定的数据输出,满足用户在大数据场景中对各类数据的应用与分析需求,广泛适用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。目前该解决方案已经在伴鱼少儿英语(互联网在线英语教育品牌)、知乎(中文互联网综合性内容平台)、石基信息(酒店业信息系统解决方案服务商)等多家行业顶尖公司落地。


更多详情可查看➡️ 强强联手!Pulsar 联合 TiDB 推出大数据场景数据应用分析解决方案


📣 TGIP 系列直播


💙 TGIP-CN


TGIP-CN 系列所有回放视频可参考 b 站链接:
https://www.bilibili.com/video/BV1T741147B6


💜 TGIP

018: From Single-AZ to Multi-AZ and Geo-replication
https://www.youtube.com/watch?v=Vc_a2ppRzlI


📣 网络研讨会合集


➡️ 8月25日: StreamNative 在线研讨会


题目:Managing Real-Time Data Teams

主讲人:Jesse Anderson,Big Data Institute 大数据专家


视频回顾参考下方链接:
https://www.youtube.com/watch?v=Owl_ncQbVwk


➡️ 9月9日:Israeli Java Community (Java.IL) meetup


题目:Apache Pulsar——Under the Hood for Java Developers

主讲人:Addison Higham,StreamNative 高级软件工程师,拥有丰富的 Apache 项目经验


活动报名链接参考:
http://meetup.com/JavaIL/events/272501454/





技术干货






以上就是 8 月份的脉动之旅。Apache Pulsar 正在快速成长,感谢来自大家的支持!


Apache Pulsar 社区鼓励大家积极参与开源社区,无论是文档、代码、翻译,还是技术博客,都欢迎大家积极参与,早日成为 Pulsar contributor,一起加油鸭。


如果你对 Pulsar Contribute 的流程不太熟练,也可以参考我们这篇小教程,让你熟悉如何通过 GitHub 对 Pulsar 进行贡献:新手向|非技术人员如何参与 Pulsar 项目进行贡献


参与贡献项目可选:


  • Apache Pulsar 项目
    https://github.com/apache/pulsar

  • Pulsar 技术文档翻译
    https://github.com/apache/pulsar-translation


👍 相关阅读

➡️ 脉冲星 7 月脉动 | 稳定更新,持续输出

➡️ 脉冲星 6 月脉动 | 2.6.0 版本强势来袭,Summit 完美落幕!

➡️ 脉冲星 5 月脉动 | 2.5.2 版本发布,Pulsar 全球盛典即将开启!

本文分享自微信公众号 - ApachePulsar(ApachePulsar)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部