深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞?」中提到了缓冲池,后面再经过一番阅读源码后,...

你一直想学的 RocketMQ,原来这样学才最省时省力

在长期面试和咨询的过程中,我发现一个现象,一个知识点,应届毕业生有问、工作 3、4 年的工程师在问、工作 10 年以上的专家也有在问: 广播消费和集群消费有什么区别? 一个消费组订阅多个 ...

图解:Kafka 水印备份机制

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 高可用是很多分布式系统中必备的特征之一,Kafka 日志的高可用是通过基于 leader-follower 的多副本同步实现的,每...

2020/09/14 07:30
294
kill -9 导致 Kakfa 重启失败的惨痛经历!

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 背景 在 2 月10 号下午大概 1 点半左右,收到用户方反馈,发现日志 kafka 集群 A 主题 的 34 分区选举不了 leader...

2020/09/07 07:30
944
探讨缓存行与伪共享

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 最近项目中有个需求,需要用到有界队列对访问请求量进行流量削峰请求,同时作为一个缓冲层对请求处理进行后续处理,...

Canal binlog 日志 Dump 流程分析

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! Canal 的 dump 支持串行和并行模式两种模式,本篇重点梳理 dump 的核心流程,以便对 dump 过程有一个充分的了解,更...

2020/08/10 07:30
3.7K
Canal binlog 日志管理器与GTID简介

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 正如上文提到的那样,在 Canal Instance 启动的时候,首先会查询日志管理器中查找上一次的同步位点,如果没有查询到...

2020/07/27 07:30
2.8K
Canal 初次启动时如何定位同步位点(文末附流程图)

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运!本文将详细剖析Canal在初次启动时如何定位同步位点,行为思路先源码,再辅以流程图进行说明,并在总结部分使用思维导...

2020/07/20 07:30
2.1K
中通科技急招岗位

笔者特意向公司HR询问了当前公司的急招岗位,特向我的粉丝们发起邀请,欢迎大家加我微信(dingwpmz),找我内推。 中通科技在快递行业中属于头部企业,日均订单量早已突破5000万,想要的大数据...

Canal 如何保证数据库库事务的一致性

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运!本文将主要介绍在 EventParser binlog 日志同步流程中关于环形缓存区的使用技巧。 1、环形缓存区 关系型数据库讲究的...

30w 字 PDF 图解算法 + 40 张面试思维导图

为大家介绍一下,小浩是我的朋友。他将自己近半年来创作的140 篇原创算法题解,汇总成了一本电子书,每一道都配有图解,同时,又整理了 40 张超高清思维导图,供大家梳理学习脉络。整个都是满...

2020/07/08 07:30
329
探究 Canal EventParser 的设计与实现奥妙

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 本文将从三个方面深度剖析 EventParser 组件。 从官方文档看 EventParser 的设计思想 从 EventParser 初始化了解内...

2020/07/06 07:30
161
一文详解 Canal Instance 设计理念与定制开发思路

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运!从 Canal 系列的第一篇文章我们基本能了解到,Instance 是 Canal 数据同步的核心,在一个 Canal 实例中只有启动 In...

数据异构之 Canal 初探(技巧篇)

1、应用场景 提到 Canal,大家应该都能想到这是一个用于解析 MySQL binlog 日志的工具,并将 MySQL 数据库中数据同步到其他存储介质中,例如 Elasticsearch。 即 Canal 一个非常常用的使用场...

数据异构重器之 Canal 初探

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 源码分析 Canal 系列开始了,一个全新的系列,即能探讨 canal 本身的实现原理,也是笔者源码阅读技巧的展示。 1、应...

我的另一种参与 RocketMQ 开源社区的方式

首先先“SHOW”一波我在 RocketMQ 开源社区所获得的成就:2019年RocketMQ社区授予我优秀布道师荣誉称号,证书很高大上,奖品丰厚哦。 布道师是什么?开源项目不是都在追求如何成为一名 Comm...

我的另一种参与 RocketMQ 开源社区的方式

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 首先先“SHOW”一波我在 RocketMQ 开源社区所获得的成就:2019年RocketMQ社区授予我优秀布道师荣誉称号,证书很高大...

中通消息服务运维平台实践(已开源)

中通快递每天有数千万的运单在各个环节运转,每个环节都有对应的多套业务系统来支撑,业务系统之间上下游关系较为密切,从上游的客户订单到下游转运、结算、分析等每个环节都离不开消息中间件...

结合 Sentinel 专栏谈谈我的源码阅读方法

点击上方“中间件兴趣圈”,选择“设为星标” 做积极的人,越努力越幸运! 本文行文思路:先抛出源码阅读方法,然后结合Sentinel创作过程谈谈具体是如何运用这些技巧,最后解答几个源码阅读的...

2020/06/01 07:30
156
Gdevops峰会:一起探讨国产分布式数据库的选型与应用

2020年,Gdevops全球敏捷运维峰会开启了传播前沿技术、助力技术人成长进阶、促进跨界交流合作的第五个年头。依托迄今成功举办的17场大会在分享议题上的精心打磨、在技术圈子里的口碑传播,G...

没有更多内容

加载失败,请刷新页面