文档章节

kafka性能测试总结

孟飞阳
 孟飞阳
发布于 2016/06/15 11:04
字数 605
阅读 2729
收藏 1

一、测试数据

(1)kafka安装的bin目录:101.111.11.216 /opt/kafka_2.10-0.8.2.0/bin

(2)producer性能测试脚本:kafka-producer-perf-test.sh

(3)consumer性能测试脚本:kafka-consumer-perf-test.sh

二、环境初始化

(1)确保正常的producer和consumer逻辑

(2)消费者能正常消费topic为:qa_test

(3)生产者能正常生产消息的topic:qa_test

(4)关闭所有consumer进程

三、关键字段解释

1、测试资源(2)脚本中所需参数的说明:

(1)messages:生产者发送总的消息数量

(2)message-size:每条消息大小

(3)batch-size:每次批量发送消息的数量

(4)topics:生产者发送的topic

(5)threads:生产者用多少线程同时发送

(6)broker-list:安装kafka服务broker机器,格式:ip:port

(7)producer-num-retries:消息发送失败重试次数

(8)request-timeout-ms:消息请求发送超时时间

2、测试资源(3)脚本中所需参数说明

(1)zookeeper:zookeeper配置

(2)messages:消费者消费消息总数量

(3)topic:消费者需要消费的topic

(4)threads:消费者同时消费消息的线程数

(5)group:消费者组名称

(6)socket-buffer-sizesocket:缓冲区大小

(7)fetch-size:每次向kafka broker请求消费大小

(8)consumer.timeout.ms:消费者去kafka broker取一条消息的超时时间

四、测试步骤

1、producer性能测试步骤:

(1)在测试资源(1)目录下,启动测试资源(2)。命令如:

./kafka-producer-perf-test.sh --messages 1000000 --message-size 1000 --batch-size 100 --topic qa_test --threads 4 --broker-list 10.138.65.216:9092 start.time,end.time,compression,message.size,batch.size,total.data.sent.in.MB,MB.sec,total.data.sent.in.nMsg,nMsg.sec

返回结果如:

2015-09-25 13:49:20:988, 2015-09-25 13:49:51:327, 0, 1000, 100, 953.67, 31.4339, 1000000, 32960.8754

(2)根据测试结果推算需要的指标

(3)根据不同的参数值,重复步骤(1)和(2)

2、consumer性能测试步骤:

(1)在测试资源(1)目录下,启动测试资源(3)。命令如:

./kafka-consumer-perf-test.sh --zookeeper 10.138.65.216:2181,10.138.65.217:2181,10.138.65.218:2181 --messages 50000 --topic qa_test --threads 2 start.time,end.time,fetch.size,data.consumed.in.MB,MB.sec,data.consumed.in.nMsg,nMsg.sec

返回结果如:

2015-09-25 14:18:26:775, 2015-09-25 14:18:32:497, 1048576, 29.0649, 40.2561, 67374, 93315.7895

(2)根据测试结果推算需要的指标

(3)根据不同的参数值,重复步骤(1)和(2)

五、其他

1、WARN信息:WARN No broker partitions consumed by consumer thread perf-consumer-17532_s84.adsys...

解决方法:确认当前topic的partition数量,此数量与3.2.(4)对应

2、WARN信息:WARN Property reconnect.interval is not valid (kafka.utils.VerifiableProperties)

解决方法:不管

3、consumer的测试结果有负数

解决方法:检查2.(1)

© 著作权归作者所有

孟飞阳
粉丝 217
博文 1057
码字总数 566384
作品 5
朝阳
个人站长
私信 提问
Logstash及Elasticsearch 压力测试说明书

1 整体环境说明 1.1 硬件环境 1、 磁盘:SATA磁盘2块,磁盘阵列为RAID1 2、 CPU:2个4核CPU。具体参数:Intel(R) Xeon(R) CPU E5405 @ 2.00GHz 3、 内存:8G(8*1G) 4、 网卡:1000Mb/s 1....

橡皮24
2018/11/09
0
0
开源软件成熟度评测报告-分布式消息中间件

一、背景 随着互联网技术和金融科技的不断发展,从RPC到Web Service,从SOA的推行再到RESTful以及云计算中PaaS与SaaS的推广,分布式架构在金融企业中得到了广泛应用,消息中间件则在分布式系...

何东杰
2017/12/20
0
0
新书《深入理解Kafka:核心设计与实践原理》上架,感谢支持~

版权声明:本文为博主原创文章,未经博主朱小厮允许不得转载。 https://blog.csdn.net/u013256816/article/details/87898176 新书上架 初识 Kafka 时,笔者接触的还是 0.8.1 版本,Kafka 发展...

朱小厮
02/23
0
0
RocketMQ与Kafka对比

RocketMQ与Kafka对比(18项差异) 淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进一步...

莫问viva
2015/05/08
615
0
《从0到1学习Flink》—— Flink 读取 Kafka 数据批量写入到 MySQL

前言 之前其实在 《从0到1学习Flink》—— 如何自定义 Data Sink ? 文章中其实已经写了点将数据写入到 MySQL,但是一些配置化的东西当时是写死的,不能够通用,最近知识星球里有朋友叫我: 写...

群星纪元
03/18
18
0

没有更多内容

加载失败,请刷新页面

加载更多

zk中ToBeAppliedRequestProcessor解析

ToBeAppliedRequestProcessor在Leader中 在已处理事务和最后处理事务处理器之间,处理器链上下一个是FinalRequestProcessor public void processRequest(Request request) throws RequestPro...

writeademo
36分钟前
3
0
Allegro快捷键设置-PCB环境

立题简介: 内容:简单介绍Allegro绘制的PCB环境下的快捷键; 来源:实际使用得出; 作用:对Allegro绘制PCB快捷键进行介绍; PCB环境:Cadence 16.6; 立题详解: 对“allegro”板而言,其在...

demyar
37分钟前
3
0
idea maven web项目启动build时报错java.lang.NullPointerException

之前还好好的,重启一下idea就报这个错了,大概率是tomcat没杀掉端口被占用了,在tomcat配置中更换一下sever端口就好了

宇辰OSC
41分钟前
3
0
weed3-2.3.1.查询之输出

Weed3 一个超轻量级ORM框架(只有0.1Mb哦) 源码:https://github.com/noear/weed3 源码:https://gitee.com/noear/weed3 查询可是个复杂的话题了,可能我们80%的数据库处理都在查询。 今天先...

刘之西东
41分钟前
3
0
【Android JetPack系列】数据绑定:DataBinding

参考MVVM

Agnes2017
49分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部