kafka性能测试总结

原创
2016/06/15 11:04
阅读数 5.8K

一、测试数据

(1)kafka安装的bin目录:101.111.11.216 /opt/kafka_2.10-0.8.2.0/bin

(2)producer性能测试脚本:kafka-producer-perf-test.sh

(3)consumer性能测试脚本:kafka-consumer-perf-test.sh

二、环境初始化

(1)确保正常的producer和consumer逻辑

(2)消费者能正常消费topic为:qa_test

(3)生产者能正常生产消息的topic:qa_test

(4)关闭所有consumer进程

三、关键字段解释

1、测试资源(2)脚本中所需参数的说明:

(1)messages:生产者发送总的消息数量

(2)message-size:每条消息大小

(3)batch-size:每次批量发送消息的数量

(4)topics:生产者发送的topic

(5)threads:生产者用多少线程同时发送

(6)broker-list:安装kafka服务broker机器,格式:ip:port

(7)producer-num-retries:消息发送失败重试次数

(8)request-timeout-ms:消息请求发送超时时间

2、测试资源(3)脚本中所需参数说明

(1)zookeeper:zookeeper配置

(2)messages:消费者消费消息总数量

(3)topic:消费者需要消费的topic

(4)threads:消费者同时消费消息的线程数

(5)group:消费者组名称

(6)socket-buffer-sizesocket:缓冲区大小

(7)fetch-size:每次向kafka broker请求消费大小

(8)consumer.timeout.ms:消费者去kafka broker取一条消息的超时时间

四、测试步骤

1、producer性能测试步骤:

(1)在测试资源(1)目录下,启动测试资源(2)。命令如:

./kafka-producer-perf-test.sh --messages 1000000 --message-size 1000 --batch-size 100 --topic qa_test --threads 4 --broker-list 10.138.65.216:9092 start.time,end.time,compression,message.size,batch.size,total.data.sent.in.MB,MB.sec,total.data.sent.in.nMsg,nMsg.sec

返回结果如:

2015-09-25 13:49:20:988, 2015-09-25 13:49:51:327, 0, 1000, 100, 953.67, 31.4339, 1000000, 32960.8754

(2)根据测试结果推算需要的指标

(3)根据不同的参数值,重复步骤(1)和(2)

2、consumer性能测试步骤:

(1)在测试资源(1)目录下,启动测试资源(3)。命令如:

./kafka-consumer-perf-test.sh --zookeeper 10.138.65.216:2181,10.138.65.217:2181,10.138.65.218:2181 --messages 50000 --topic qa_test --threads 2 start.time,end.time,fetch.size,data.consumed.in.MB,MB.sec,data.consumed.in.nMsg,nMsg.sec

返回结果如:

2015-09-25 14:18:26:775, 2015-09-25 14:18:32:497, 1048576, 29.0649, 40.2561, 67374, 93315.7895

(2)根据测试结果推算需要的指标

(3)根据不同的参数值,重复步骤(1)和(2)

五、其他

1、WARN信息:WARN No broker partitions consumed by consumer thread perf-consumer-17532_s84.adsys...

解决方法:确认当前topic的partition数量,此数量与3.2.(4)对应

2、WARN信息:WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)

解决方法:不管

3、consumer的测试结果有负数

解决方法:检查2.(1)

展开阅读全文
加载中

作者的其它热门文章

打赏
0
1 收藏
分享
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部