后端进阶

中通消息平台 Kafka 顺序消费线程模型的实践与优化

2021/01/19 10:20

1W

各类消息中间件对顺序消息实现的做法是将具有顺序性的一类消息发往相同的主题分区中，只需要将这类消息设置相同的 Key 即可，而 Kafka 会在任意时刻保证一个消费组同时只能有一个消费者监听消...

kafka fetch records 消息中间件 https worker apache 开源 github kafkaconsumer rocketmq poll

2020/11/30 09:12

2.6W

7

最近在公司的数据同步项目（以下简称 ZDTP）中，需要使用到分布式调度数据同步执行单元，目前使用的方案是将数据同步执行单元打包成镜像，使用 K8s 进行调度。在 ZDTP 中，数据同步的动作可...

kafka seata apache rocketmq

后端进阶

2020/08/27 08:05

4.9K

我第一次接触容器编排调度工具是 Docker 自家的 Docker Swarm，主要解决当时公司内部业务项目部署繁琐的问题，我记得当时项目实现容器化之后，花在项目部署运维的时间大大减少了，当时觉得这...

kafka node deployment docker seata https 开源 rocketmq github java support

后端进阶

2020/08/24 08:02

6.7K

最近项目中有个需求，需要用到有界队列对访问请求量进行流量削峰请求，同时作为一个缓冲层对请求处理进行后续处理，Java 内置有界队列 ArrayBlockingQueue 可以满足这方面的需求，但是性能上...

kafka seata java apache rocketmq

后端进阶

2020/08/17 08:41

2.7K

RPC 模块是我最初研究 Seata 源码开始的地方，因此我对 Seata 的 RPC 模块有过一些深刻研究，在我研究了一番后，发现 RPC 模块中的代码需要进行优化，使得代码更加优雅，交互逻辑更加清晰易懂...

gitee netty

Seata

2020/07/30 14:38

8.6K

最近因为全链路压测项目需要对用户自定义线程池 Bean 进行适配工作，我们知道全链路压测的核心思想是对流量压测进行标记，因此我们需要给压测的流量请求进行打标，并在链路中进行传递，那么问...

bean spring async interceptor invoke spring-boot https executor release kafka 开源 github

2020/06/18 10:00

3.6K

彻底搞懂 Kafka 消息大小相关参数设置的规则

前段时间接到用户要求，调整某个主题在 Kafka 集群消息大小为 4M。根据 Kafka 消息大小规则设定，生产端自行将 max.request.size 调整为 4M 大小，Kafka 集群为该主题设置主题级别参数 max....

fetch kafka bytes apache https follower message size github batch 分布式事务框架

2020/05/21 13:34

2.5K

丁老师在他的知识星球邀请我回答以下一个问题：我觉得这个问题非常有意思，姑且把它贴到公众号这里，与大家分享一下我对这个问题的一些感悟。感谢丁老师的邀请问答：在这里我就简单说下，...

开源 seata github rocketmq https kafka 消息中间件分布式事务框架 crud

感悟

2020/05/18 10:08

1.1W

1

我不记得有多少人问过以下这个问题了：我觉得这个问题问得很频繁，而且非常经典，在这里我就以 Kafka 为例子，说说我对 Kafka 顺序消息的一些理解吧，如有理解不对的地方麻烦留言指点一下。...

kafka rocketmq worker https 分布式事务框架 controller 消息中间件 kafkaconsumer spring

当 Kafka 分区不可用且 leader 副本被损坏时，如何尽量减少数据的丢失？

2020/05/08 14:06

4.1W

经过上次 Kafka 日志集群某节点重启失败导致某个主题分区不可用的事故之后，这篇文章专门对分区不可用进行故障重现，并给出我的一些骚操作来尽量减少数据的丢失。故障重现下面我用一个例子...

kafka leader kafka-manager follower factor node json https broker0 epoch broker1 broker broker2

从源码和日志文件结构中分析 Kafka 重启失败事件

2020/03/25 09:41

1.8K

上次的 Kafka 重启失败事件，对为什么重启失败的原因似乎并没有解释清楚，那么我就在这里按照我对 Kafka 的认识，从源码和日志文件结构去尝试寻找原因。从源码中定位到问题的根源首先把导致...

kafka index jira https apache dump 发送邮件 segment entry scala offset baseoffset issue recover

2020/03/20 09:03

8.5K

收到某业务组的小伙伴发来的反馈，具体问题如下：项目中某 kafka 消息组消费特别慢，有时候在 kafka-manager 控制台看到有些消费者已被踢出消费组。从服务端日志看到如下信息：该消费组在...

kafka records https kafka-manager poll interval coordinator objcoding 200ms stoptheworld

2020/01/07 09:41

8.4K

高可用是很多分布式系统中必备的特征之一，Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的，每个分区下有多个副本，其中只有一个是 leader 副本，提供发送和消费消息，其...

follower fetch kafka epoch leader https 分布式系统 lastoffset remoteleo leaderhw leaderepoch

2019/12/27 11:13

1.3W

10

Seata 的动态降级需要结合配置中心的动态配置订阅功能。动态配置订阅，即通过配置中心监听订阅，根据需要读取已更新的缓存值，ZK、Apollo、Nacos 等第三方配置中心都有现成的监听器可实现动态...

seata spring executor invoke .config nacos wrapper apollo file configurationchangelistener

2019/12/22 21:51

1.3K

前段时间收到某个 Kafka 集群的生产客户端反馈发送消息耗时很高，于是花了一段时间去排查这个问题，最后该集群进行扩容，由于某些主题的当前数据量实在太大，在对这些主题迁移过程中话费了很...

kafka spark json 大数据 leader auto preferredleader broker topic1 partition reassignment spark2

2019/12/19 20:44

1W

12

上周客串了一下面试官，在这里就简单记录一下期间我问到的一些关于 Kafka 的面试题目，这些都是我平时在学习 Kafka 的一些总结要点。谈谈你对 kafka 的整体认识？问这个问题主要是想知道面...

kafka 面试 controller follower timeout index auto session worker linger rocketmq broker leader

2019/12/17 20:34

1.4K

Seata 可以支持多个第三方配置中心，那么 Seata 是如何同时兼容那么多个配置中心的呢？下面我给大家详细介绍下 Seata 配置中心的实现原理。配置中心属性加载在 Seata 配置中心，有两个默认...

seata registry meta loader common .config spi core type 单例模式 zkclient conf config file

2019/12/16 20:44

3.6K

在分析启动部分源码时，我发现 GlobalTransactionScanner 会同时启动 RM 和 TM client，但根据 Seata 的设计来看，TM 负责全局事务的操作，如果一个服务中不需要开启全局事务，此时是不需要启...

seata bean spring https github tmclient globaltransactionscanner rmclient initializingbean provider

2019/12/14 14:55

3.5K