文档章节

kafka优化建议

d
 dreamness
发布于 07/24 15:28
字数 501
阅读 17
收藏 0

Producer


acks 建议设置为all, 确认所有副本保存完毕后进行下一个批次。默认值为1, 等到leader副本保存完毕后就开始下一个批次, 若期间leader所在节点出错, 会导致数据丢失。
buffer.memory 生产者的缓存大小,默认值约为32M, 可以根据需求适当调大。
compression.type 数据的压缩方式, 默认为none, 建议为snapy, 解压和压缩的效率高。
retries 发送失败后的重试次数, 默认为0, 建议100
max.in.flight.requests.per.connection 生产者在单个连接上能够发送的未响应请求的个数, 建议为1, 即响应前不允许发送其他请求。
batch.size 每个批次的最大大小,默认为2KB, 建议调大。
max.request.size 每个请求的最大值, 默认1M, 建议调大。
request.timeout.ms 请求超时时间, 默认30s, 建议60s timeout.ms ack确认的超时时间

Broker


advertised.host.name 默认为空, 配置为本机ip地址, 如不配置可能导致在异构网络下的kafka对接不可用。
message.max.bytes 接受信息的最大值, 建议调大。
num.io.threads 从网络获取请求数据的io线程数, 默认8, 建议16-24
num.network.threads 处理网络请求的线程数, 默认3, 建议6-9
zookeeper.connection.timeout.ms 连接Zookeeper的最大超时时间, 默认为zookeeper.session.timeout.ms的值, 默认为6s, 建议60s

Consumer


fetch.message.max.bytes 每次fetch请求(每个Topic, 每个Partition,的每个fetch请求)的的最大数据量,默认1M, 建议调大
auto.commit.enable 自动提交offset, 默认为true, 建议修改为false, 手动提交
auto.offset.reset 若没有offset或不存在,所读取的位置,设置为lastest, 最新提交的数据。

© 著作权归作者所有

d

dreamness

粉丝 2
博文 48
码字总数 17330
作品 0
沈阳
私信 提问
Kafka性能调优

Kafka的配置详尽、复杂,想要进行全面的性能调优需要掌握大量信息,这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。 1.JVM的优化 java相关系统自然离不开...

Jx战壕
2017/06/12
0
0
ELKB5.2.2集群环境部署及优化终极文档

ELKB5.2.2集群环境部署 本人陆陆续续接触了ELK的1.4,2.0,2.4,5.0,5.2版本,可以说前面使用当中一直没有太多感触,最近使用5.2才慢慢有了点感觉,可见认知事务的艰难,本次文档尽量详细点...

minminmsn
2017/05/19
0
0
kafka和flume的区别和对比使用

(1)kafka和flume都是日志系统。kafka是分布式消息中间件,自带存储,提供push和pull存取数据功能。flume分为agent(数据采集器),collector(数据简单处理和写入),storage(存储器)三部分...

u010963948
2017/12/13
0
0
闫燕飞:Kafka的高性能揭秘及优化

欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文首发在云+社区,未经许可,不得转载。 大家下午好,我是来自腾讯云基础架构部ckafka团队的高级工程师闫燕飞。今天在这里首先...

腾讯云加社区
2018/05/03
0
0
Spark踩坑记——Spark Streaming+Kafka

转载自:https://www.cnblogs.com/xlturing/p/6246538.html 前言 在WeTest舆情项目中,需要对每天千万级的游戏评论信息进行词频统计,在生产者一端,我们将数据按照每天的拉取时间存入了Kaf...

weixin_37589896
2017/11/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Android Binder机制 - interface_cast和asBinder讲解

研究Android底层代码时,尤其是Binder跨进程通信时,经常会发现interface_cast和asBinder,很容易被这两个函数绕晕,下面来讲解一下: interface_cast 下面根据下述ICameraClient例子进行分析...

天王盖地虎626
11分钟前
3
0
计算机实现原理专题--存储器的实现(二)

计算机实现原理专题--存储器的实现(一)中描述了一种可以记住输入端变化的装置。现需要对其功能进行扩充,我们将上面的开关定义为置位,下面的开关定义为复位,然后需要增加一个保持位,当保...

FAT_mt
14分钟前
3
0
集合--Collection与迭代

1.1Collection 集合 集合:集合是Java提供的一种容器技术,可以用来存储多个数据 集合与数组的区别: 数组的长度是固定的,集合的长度是可变的 数组中存储的是同类型的元素,存储基本数据类型...

Firefly-
21分钟前
10
0
聊聊rocketmq的consumeTimeout

序 本文主要研究一下rocketmq的consumeTimeout consumeTimeout rocketmq-client-4.5.2-sources.jar!/org/apache/rocketmq/client/consumer/DefaultMQPushConsumer.java public class Defaul......

go4it
23分钟前
2
0
JAVA--高级基础开发

Day13[Map集合练习题] 练习一:Map接口的特点 请简述Map 的特点: Map集合中存放的数据都是键值对,并且键不能相同,值可以相同。 Map集合中的Key是根据Set集合来存放的。 Map集合可以使用n...

李文杰-yaya
24分钟前
17
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部