AutoMQ 社区双周精选(11.06-11.17)

原创
2023/12/07 17:08
阅读数 54

AutoMQ 社区于今年 11月4日正式开源,不到三周时间,就收到很多的关注和强有力的支持。《双周精选》将以两周一更新的形式,通过简短的内容,为大家介绍我们社区发展的动态及大事件。希望以此,能让社区成员和朋友们更好地了解项目,让更多的开发者参与进来,一起共建 AutoMQ社区!

本期概要

在开源的第一个双周里,AutoMQ 团队与社区共同努力,完成了很多具有挑战性的任务。

  1. AutoMQ for Kafka:云盘写入性能优化、Catch-up 预读优化、Spot 实例强制回收容灾。

  2. AutoMQ for RocketMQ:可观测性增强、性能优化与稳定性提升、完善质量保证体系。

  3. AutoMQ for Kafka 本地快速体验更新!

社区贡献者名单

本周新增社区贡献者:来自腾讯云的雷志远,该 PR 优化了AutoMQ RocketMQ 的 Docker Compose 启动方式。https://github.com/AutoMQ/automq-for-rocketmq/pull/605
👏感谢雷志远的贡献,也欢迎更多的开发者参与开源共建!

AutoMQ for Kafka 精选动态

云盘写入性能优化

为了在充分利用云盘带宽的过程中保证写入耗时的稳定性,考虑到云盘的 IOPS 限制,通过定期 & 大小攒批的方式将数据攒批写入到磁盘中。在 AWS GP3 3000 IOPS 125MB/s 磁盘下,4KB 消息大小平均写入耗时从 4ms 下降到 2ms。
https://github.com/AutoMQ/automq-for-rocketmq/pull/645

Catch-up 预读优化

借鉴 Linux Page Cache 实现,优化了 S3Stream 的预读取机制,提升了追赶读(Catch Up Read)的性能。计划下周实现根据读取速率动态调整预读大小,进一步提升缓存利用效率。https://github.com/AutoMQ/automq-for-rocketmq/pull/657

Spot 实例强制回收容灾

Spot(竞价实例)相比按需实例可以便宜至多 90%,但问题是它可能不经通知就强制回收。通过 issue-447,AutoMQ for Kafka 可以在 Spot 实例被强制回收的情况下,仍旧可以将数据卷挂载到存活的机器,进行秒级容灾恢复。该特性拆分成 Kafka 控制面、S3Stream 模块容灾恢复、AutoScaling 多云运维执行层三块实现,目前进展 80%,预计下周可以完成。https://github.com/AutoMQ/automq-for-kafka/issues/447

AutoMQ for RocketMQ 精选动态

可观测性增强

性能优化与稳定性提升

借助完善的可观测能力,我们识别并修复了一系列稳定性与性能问题,对于消息收发等关键链路进行了大量优化。https://github.com/AutoMQ/automq-for-rocketmq/issues/591

完善质量保证体系

我们 fork Apache RocketMQ 的 E2E 测试仓库并进行修改以适配 AutoMQ for RocketMQ 中全新的元数据存储。我们使用 GitHub Action  将 E2E 测试引入开发流程中,并将其作为 PR 合并的前置卡点以保证与 RocketMQ 协议的完整兼容。https://github.com/AutoMQ/automq-for-rocketmq/pull/310

More Things

AutoMQ for Kafka 本地快速体验

AutoMQ for Kafka 本地快速体验更新啦!在本地你就可以轻松拉起一个 AutoMQ for Kafka 集群,并在宿主机上使用客户端访问集群。在这个集群中,不仅你可以体验 AutoMQ for Kafka Partition 秒级迁移能力,还能体验到 Partition 随着流量自动在集群自动迁移。https://docs.automq.com/zh/docs/automq-s3kafka/VKpxwOPvciZmjGkHk5hcTz43nde

以上是本期《双周精选》的内容,欢迎关注我们公众号,我们会定期更新AutoMQ社区的进展。同时,也诚邀各位开源爱好者,持续关注我们社区,跟我们一起构建云原生消息中间件!

关于我们

AutoMQ 是一家专业的消息队列和流存储软件服务供应商。AutoMQ 开源的 AutoMQ Kafka 和 AutoMQ RocketMQ 基于云对 Apache Kafka、Apache RocketMQ 消息引擎进行重新设计与实现,在充分利用云上的竞价实例、对象存储等服务的基础上,兑现了云设施的规模化红利,带来了下一代更稳定、高效的消息引擎。此外,AutoMQ 推出的 RocketMQ Copilot 专家系统也重新定义了 RocketMQ 消息运维的新范式,赋能消息运维人员更好的管理消息集群。 

🌟 GitHub 地址:https://github.com/AutoMQ

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ 

👉 扫二维码加入我们的社区群

关注我们,一起学习更多云原生干货

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部