Kafka - 后端进阶 - OSCHINA - 中文开源技术交流社区

花了一年多的时间，写了 30 篇关于 Kafka 的文章

在过去的一年多，由于工作的原因我接触 Kafka 比较多，在工作的过程中，总结了很多关于 Kafka 的知识并将它们沉淀为一篇篇文章，包括 Kafka 核心知识点的讲解，工作中遇到的问题排查分析与性...

kafka 中通消息服务运维平台面试 rocketmq records kafkaproducer kafkaisr poll size batch

2021/01/19 10:20

1.8K

中通消息平台 Kafka 顺序消费线程模型的实践与优化

各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消...

kafka fetch records 消息中间件 https worker apache 开源 github kafkaconsumer rocketmq poll

2020/11/30 09:12

2.6W

彻底搞懂 Kafka 消息大小相关参数设置的规则

前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max....

fetch kafka bytes apache https follower message size github batch 分布式事务框架

2020/05/21 13:34

525

当 Kafka 分区不可用且 leader 副本被损坏时，如何尽量减少数据的丢失？

经过上次 Kafka 日志集群某节点重启失败导致某个主题分区不可用的事故之后，这篇文章专门对分区不可用进行故障重现，并给出我的一些骚操作来尽量减少数据的丢失。故障重现下面我用一个例子...

kafka leader kafka-manager follower factor node json https broker0 epoch broker1 broker broker2

2020/03/25 09:41

1.8K

从源码和日志文件结构中分析 Kafka 重启失败事件

上次的 Kafka 重启失败事件，对为什么重启失败的原因似乎并没有解释清楚，那么我就在这里按照我对 Kafka 的认识，从源码和日志文件结构去尝试寻找原因。从源码中定位到问题的根源首先把导致...

kafka index jira https apache dump 发送邮件 segment entry scala offset baseoffset issue recover

2020/03/20 09:03

1.3K

当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到...

timeout session kafka rocketmq coordinator java web框架 heartbeat pullrequestqueue broker

2019/11/05 12:27

背景在 2 月10 号下午大概 1 点半左右，收到用户方反馈，发现日志 kafka 集群 A 主题的 34 分区选举不了 leader，导致某些消息发送到该分区时，会报如下 no leader 的错误信息： In the m...

kafka apache https jira index systemd entry leader factor follower kafka-manager scala broker0

2020/03/16 09:18

2.5K

微信公众号「后端进阶」，专注后端技术分享：Java、Golang、WEB框架、分布式中间件、服务治理等等。还记得前几天有个小伙伴跟我反馈发送消息时提示请求数据过大的异常吗？经过调整 max.requ...

fetch size web框架 kafka java batch bytes broker producerbatch request message bufferpool