文档章节

kafka数据保存时间问题与kafka的性能测试

闪电
 闪电
发布于 2016/07/18 16:46
字数 393
阅读 166
收藏 0

查看kafka的topic情况,bin/kafka-topics.sh --describe --zookeeper hadoop234:2182 --topic test5


可以查看replicationfactor的leader,如果broker list中某个节点断掉,则会重选leader

Partition: 分区
Leader : 负责读写指定分区的节点
Replicas : 复制该分区log的节点列表
Isr : "in-sync" replicas,当前活跃的副本列表(是一个子集),并且可能成为Leader。

在producer发送消息的过程中,broker list的某个节点断掉,不会影响消息的发送。


 kafka数据保存时间问题。

   Kafka删除检查主要有两种,任一达到要求即执行。

(1)      按时间粒度,可设置分钟或者小时。达到时间进行处理。

(2)      按文件大小限制,设置最大文件大小,达到上限即进行处理。

可设置文件大小检查周期。


kafka的性能测试

kafka中有自带的性能测试代码,测试结果均来自kafka自带的测试代码 ,位于bin/kafka-producer-perf-test.sh。

         主要参数有以下四个,

messages                生产者发送总的消息数量

message-size             每条消息大小(单位为b)

batch-size                每次批量发送消息的数量

topics                   生产者发送的topic

threads                  生产者使用几个线程同时发送

例如bin/kafka-producer-perf-test.sh --messages 100000 --message-size 1000  --batch-size 10000 --topics test4 --threads 4 --broker-list hadoop234:9092,hadoop237:9092,hadoop238:9092

返回信息为

start.time, end.time, compression, message.size, batch.size, total.data.sent.in.MB, MB.sec, total.data.sent.in.nMsg, nMsg.sec

2015-10-15 18:56:27:542, 2015-10-15 18:56:30:880, 0, 1000, 10000, 95.37, 28.5702, 100000, 29958.0587

可以通过调节参数进行性能测试。






本文转载自:http://blog.csdn.net/hwssg/article/details/49156397

闪电
粉丝 75
博文 392
码字总数 6789
作品 0
海淀
技术主管
私信 提问
开源软件成熟度评测报告-分布式消息中间件

一、背景 随着互联网技术和金融科技的不断发展,从RPC到Web Service,从SOA的推行再到RESTful以及云计算中PaaS与SaaS的推广,分布式架构在金融企业中得到了广泛应用,消息中间件则在分布式系...

何东杰
2017/12/20
0
0
apache kafka消息服务

apache kafka中国社区QQ群:162272557 apache kafka参考 http://kafka.apache.org/documentation.html 消息队列分类: 点对点: 消息生产者生产消息发送到queue中,然后消息消费者从queue中取...

老先生二号
2017/08/06
0
0
RabbitMQ和Kafka

起因 最近公司RabbitMQ的集群出了点问题,然后有些亲就说RabbitMQ慢且不好用,是一个瓶颈,不如换成Kafka。而我本人,使用RabbitMQ有一点久了,认为这个事情应当辩证的去看。所以就在没事的时...

通九互联科技
2015/09/06
6.8K
8
Kafka、RabbitMQ、RocketMQ等消息中间件的介绍和对比

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/t4i2b10X4c22nF6A/article/details/89507748

JAVA高级架构v
04/24
0
0
Spark Streamming+Kafka提交offset实现有且仅有一次

我的原创地址:https://dongkelun.com/2018/06/20/sparkStreamingOffsetOnlyOnce/ 前言 本文讲Spark Streamming使用Direct方式读取Kafka,并在输出(存储)操作之后提交offset到Kafka里实现程...

董可伦
2018/07/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring Boot 2 实战:使用 Spring Boot Admin 监控你的应用

1. 前言 生产上对 Web 应用 的监控是十分必要的。我们可以近乎实时来对应用的健康、性能等其他指标进行监控来及时应对一些突发情况。避免一些故障的发生。对于 Spring Boot 应用来说我们可以...

码农小胖哥
35分钟前
3
0
ZetCode 教程翻译计划正式启动 | ApacheCN

原文:ZetCode 协议:CC BY-NC-SA 4.0 欢迎任何人参与和完善:一个人可以走的很快,但是一群人却可以走的更远。 ApacheCN 学习资源 贡献指南 本项目需要校对,欢迎大家提交 Pull Request。 ...

ApacheCN_飞龙
46分钟前
4
0
CSS定位

CSS定位 relative相对定位 absolute绝对定位 fixed和sticky及zIndex relative相对定位 position特性:css position属性用于指定一个元素在文档中的定位方式。top、right、bottom、left属性则...

studywin
55分钟前
6
0
从零基础到拿到网易Java实习offer,我做对了哪些事

作为一个非科班小白,我在读研期间基本是自学Java,从一开始几乎零基础,只有一点点数据结构和Java方面的基础,到最终获得网易游戏的Java实习offer,我大概用了半年左右的时间。本文将会讲到...

Java技术江湖
昨天
5
0
程序性能checklist

程序性能checklist

Moks角木
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部