加载中
kafka的发行版选择

点击上方蓝字“极客运维”一起运筹帷幄 今天继续和大家聊一下,kafka的各种发行版。kafka历经数年的发展,从最初纯粹的消息引擎,到近几年开始在流处理平台生态圈发力,衍生出了各种不同特性...

kafka是如何保证消息不丢失的

点击上方蓝字“极客运维”一起运筹帷幄 今天和大家聊一下,kafka对于消息的可靠性保证。作为消息引擎组件,保证消息不丢失,是非常重要的。 那么kafka是如何保证消息不丢失的呢? 前提条件 ...

01/22 11:01
30
kafka分区数和吞吐量的关系

点击上方蓝字“极客运维”一起运筹帷幄 分区(partition)概念 要讲 kafka 分区数和吞吐量的关系,首先得理解什么是分区(partition)。 Partition是作用于具体的Topic而已的,而不是一个独立的概...

2019/12/26 10:08
24
kafka集群扩容后的数据均衡

点击上方蓝字“极客运维”一起运筹帷幄 生产环境的kafka集群扩容,是一个比较常见的需求和操作。然而kafka在新增节点后并不会像elasticsearch那样感知到新节点加入后,自动将数据reblance到整...

2019/12/05 10:33
170
kafka生产者的幂等和事务处理

点击上方蓝字“极客运维”一起运筹帷幄 之前和大家聊过kafka是如何保证消息不丢失的,今天再讲讲在不丢消息的同时,如何实现精确一次处理的语义实现。 消息组件对消息的可靠性保障,常见的模...

05/05 09:28
156
kafka数据存储目录间迁移

点击上方蓝字“极客运维”一起运筹帷幄 生产环境kafka集群,在数据量大的情况下,经常会出现单机各个磁盘间的占用不均匀情况。 原因探究 这是因为kafka在之前的版本中只保证分区数在各个磁盘...

2019/12/16 10:24
116
kafka消费组及重平衡的影响

点击上方蓝字“极客运维”一起运筹帷幄 消费组应该算是kafka中一个比较有特色的设计模式了,而他的重平衡机制也是我们在实际生产使用中,无法避免的一个问题。 消费组 Consumer Group为kafka...

kafka分区数过多引发的弊端

点击上方蓝字“极客运维”一起运筹帷幄 上篇文章我们了解到,如果一个topic分区越多,理论上整个集群所能达到的吞吐量就越大。那么,分区数越多就越好吗?显然不是。今天我们来聊下kafka在分...

01/02 10:20
187
一次CPU sys上涨引发对kafka PageCache的思考

点击上方蓝字“极客运维”一起运筹帷幄 1.CPU sys 上涨背景 配置 机型 A 机型 B CPU 48C 48C MEM 8*32G 12*16G DATA DISK 12*960G SSD 12*4T SSD 线上某个kafka集群由于种种原因,从 24 * 机...

10/12 10:56
36
为什么TikTok可以被禁,但绝对不能卖?

相关推荐: kafka集群扩容后的数据均衡 kafka数据存储目录间迁移 kafka分区数过多引发的弊端 戳原文,点在看!

08/09 00:52
490
为什么TikTok可以被禁,但绝对不能卖?

之前发的被和谐了,害怕... 相关推荐: kafka集群扩容后的数据均衡 kafka数据存储目录间迁移 kafka分区数过多引发的弊端 戳原文,点在看!

08/10 13:08
422
提问的艺术

点击上方蓝字“极客运维”一起运筹帷幄 提问的艺术理论上适用于任何行业,在 IT 行业应该普及的较广了。这里只是做一下归纳总结,以供萌新们翻阅,大佬们忽略即可。 提问前你必须需要知道的事...

01/15 10:31
10
提问的艺术

点击上方蓝字“极客运维”一起运筹帷幄 提问的艺术理论上适用于任何行业,在 IT 行业应该普及的较广了。这里只是做一下归纳总结,以供萌新们翻阅,大佬们忽略即可。 提问前你必须需要知道的事...

01/16 10:59
0
复工开始,口罩备足了吗?

点击上方蓝字“极客运维”一起运筹帷幄 疫情还在继续,迫于生活,大家陆续开始复工返岗。作为当下的硬通货物资,大家有备好足够外出的口罩吗?下面整理些口罩购买途径,虽然也不一定买得到。...

03/05 09:53
0
欢迎加入『极客运维』技术交流微信群

点击上方蓝字“极客运维”一起运筹帷幄 首先感谢所有的读者和订阅者一直以来对『极客运维』公众号的支持和鼓励,为了方便读者间相互技术交流,特此建立微信技术交流群。 加入技术交流群 鉴于...

01/16 10:59
76
公众号近期TODO

点击上方蓝字“极客运维”一起运筹帷幄 TODO flume相关文章及二次开发 kafka及 ES相关文章 DOING dr.elephant系列文章 CDH相关文章 DONE CDH事件监听告警(https://github.com/hyper-xx/cdh_...

滴滴ElasticSearch平台跨版本升级以及平台重构之路

导读:滴滴 ElasticSearch 团队经过 7 个月的奋斗,将维护国内的 30 多个 ES 集群,2000 多个 ES 节点,4PB 的数据,从 2.3.3 跨大版本无缝升级到 6.6.1。完成ES版本升级的过程中,也完成了滴...

滴滴ElasticSearch千万级TPS写入性能翻倍技术剖析

导读:滴滴ElasticSearch平台承接了公司内部所有使用ElasticSearch的业务,包括核心搜索、RDS从库、日志检索、安全数据分析、指标数据分析等等。平台规模达到了3000+节点,5PB 的数据存储,超...

没有更多内容

加载失败,请刷新页面

没有更多内容

返回顶部
顶部