AutoMQ 社区双周精选第七期(2024.01.29~2024.02.09)

原创
02/19 17:48
阅读数 60

本期概要

过去的两周里,社区贡献者@lifepuzzlefun 为 AutoMQ 的 RocketMQ 项目优化了 LogCache 的二分查找性能,消除了不必要的List拷贝。

同时,AutoMQ 的主干动态展示了持续的性能优化和功能增强。在 Kafka 项目中,团队设计了新型文件缓存机制,以支持小数据、反复读和二分查找跳读场景,同时优化了 WAL 恢复速度,使 1GiB 数据恢复时间大幅缩短。此外,Kafka 还新增了 Grafana 用户视图和开发者视图的大盘,以提供更全面的集群监控能力。

这些努力将共同推动 AutoMQ 向更高效、可靠和易用的消息队列服务迈进。

社区贡献者名单

本周新增社区贡献者 :@lifepuzzlefun https://github.com/AutoMQ/automq-for-rocketmq/pull/903 该 PR 优化了 LogCache 二分查找时额外的 List 拷贝

AutoMQ 主干动态

事务索引和时间戳索引文件缓存

https://github.com/AutoMQ/automq-for-kafka/pull/740 https://github.com/AutoMQ/automq-for-kafka/pull/743 https://github.com/AutoMQ/automq-for-kafka/pull/745

根据事务索引和时间戳索引的查询特征,设计了更加适合小数据、反复读和二分查找跳读的文件缓存:

  • 缓存空间限制在 200MB,不随着分区数量线性扩展;
  • 索引持久化的同时写入缓存,缓存的空间可以支撑到 S3Stream 的小 Object 合并成大 Object,使得 AutoMQ Kafka 维持高效索引查询效率;

WAL 恢复加速

https://github.com/AutoMQ/automq-for-rocketmq/pull/910

通过 Buffer 读取机制,加速 WAL 的恢复,1GiB 的数据恢复时间从 92.7s 优化到 15.3s

Grafana 用户 & 开发者大盘

https://github.com/AutoMQ/automq-for-kafka/pull/778

新增了 Grafana 用户视图和开发者视图的大盘:

  • 在用户视图,用户可以概览整个集群的运行情况,然后根据需求下钻到 Broker 单机大盘、Topic 大盘和 Group 大盘;
  • 在开发者视图,开发者可以一览 Broker 的 CPU、JVM、请求吞吐 & 耗时和 S3Stream 内部的详细运行情况;

END

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现,在充分利用云上的竞价实例、对象存储等服务的基础上,兑现了云设施的规模化红利,带来了下一代更稳定、高效的消息引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式,赋能消息运维人员更好的管理消息集群。 

🌟 GitHub 地址:https://github.com/AutoMQ/automq-for-kafka

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ 

👉 扫二维码加入我们的社区群

关注我们,一起学习更多云原生干货

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部