AutoMQ 社区双周精选第四期(12.18~12.29)

原创
01/04 15:04
阅读数 73

本期概要

欢迎来到第四期的双周精选!在2023的最后两周里,AutoMQ for Kafka和AutoMQ for RocketMQ项目依然在持续进展。
AutoMQ for Kafka: 实现了 Metrics 大盘和 Trace 集成,并进行了单机大规模分区关闭和异常关机恢复的性能优化. AutoMQ for RocketMQ: 在 Remoting 协议可观测性和 Store 层队列状态机方面进行了完善和重构。这些更新将进一步提升 AutoMQ 在分布式消息队列领域的功能和性能,让我们一同探索这些令人振奋的发展!

AutoMQ for Kafka 主干动态

Metrics 大盘 & Trace 集成

新增 Prometheus、Grafana 一键拉起脚本,并自动导入 AutoMQ Kafka 大盘 https://github.com/AutoMQ/automq-for-kafka/pull/613 丰富存储层的 Metrics https://github.com/AutoMQ/automq-for-rocketmq/pull/845 https://github.com/AutoMQ/automq-for-rocketmq/pull/848 

核心读写链路 Trace 支持 https://github.com/AutoMQ/automq-for-rocketmq/pull/866  https://github.com/AutoMQ/automq-for-kafka/pull/610 

单机大规模分区关闭加速

分区并行化关闭优化:从原来节点 shutdown 超时优化到 45s 完成 shutdown。 https://github.com/AutoMQ/automq-for-kafka/pull/591 Stream 关闭加速:关闭过程中精细化等待上传 S3 的任务,整体 shutdown 耗时从 45s 优化到 17s。 https://github.com/AutoMQ/automq-for-rocketmq/pull/858 通过两项优化,最终 17s 即可完成 5000 分区关闭。

异常关机恢复加速

**800MiB 分区 unclean shutdown 恢复速度耗时从 19s 优化到 1.5s:**原版 Apache Kafka 在 unclean shutdown 后,分区恢复会将所有满足 segment.endOffset > recoverPoint 条件的 segments 都清除索引,并大量从磁盘中读取数据进行索引构建。恢复的数据较多导致恢复时间较长。 AutoMQ Kafka 优化了异常恢复流程,仅从 recoverPoint 开始恢复,并且辅以更加频繁的 checkpoint,将 unclean shutdown 单分区需要恢复的数据量限制在 50MiB 以内,提供可预期的 1.5s 的恢复耗时https://github.com/AutoMQ/automq-for-kafka/pull/596

集群10w Partition&200TB存储支持 PART1

优化大规模分区集群的 Kraft 元数据内存占用,元数据内存占用下降 80%,10w Partition & 200TB 的集群元数据内存占用预期为 120MiB。
https://github.com/AutoMQ/automq-for-rocketmq/pull/857  https://github.com/AutoMQ/automq-for-kafka/pull/612 

AutoMQ for RocketMQ 主干动态

完善 Remoting 协议可观测性

补充生产消费的 Metrics 和 Trace https://github.com/AutoMQ/automq-for-rocketmq/pull/844 

重构 Store 层队列状态机

https://github.com/AutoMQ/automq-for-rocketmq/pull/849

以上是第四期《双周精选》的内容,欢迎关注我们的公众号,我们会定期更新 AutoMQ 社区的进展。同时,也诚邀各位开源爱好者持续关注我们社区,跟我们一起构建云原生消息中间件!

END

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现,在充分利用云上的竞价实例、对象存储等服务的基础上,兑现了云设施的规模化红利,带来了下一代更稳定、高效的消息引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式,赋能消息运维人员更好的管理消息集群。 

🌟 GitHub 地址:https://github.com/AutoMQ/automq-for-kafka

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ 

👉 扫二维码加入我们的社区群

关注我们,一起学习更多云原生干货

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部