Kafka 入门使用

原创
2017/03/27 21:19
阅读数 119

首先,kafka依赖scala和java8环境,所以安装环境。kafka依赖zookeeper作为集群配置管理服务器。

所以需要安装zookeeper。

这里使用的是kafka 0.10.1

kafka server.properties配置:

配置kafka 的server.properties 
vi server.properties #编辑修改相应的参数
broker.id=0
port=9092 #端口号
host.name=192.168.0.11 #服务器IP地址,修改为自己的服务器IP
log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

PS. 关于zookeeper的根目录配置:

PS. 这里ZooKeeper也可以允许你指定一个"chroot"的路径,可以让Kafka集群将需要存储在ZooKeeper的数据存储到指定的路径下这可以让多个Kafka集群或其他应用程序公用同一个ZooKeeper集群。
如:hostname1:port1,hostname2:port2,hostname3:port3/chroot/path

 

kafka的启动命令:

bin/kafka-server-start.sh ../config/server.properties 
./kafka-server-start.sh -daemon ../config/server.properties  后台

 

Kafka创建topic replication 为副本 partitions为并行数 这里配置成1为单机配置

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

测试单机连通性:

./kafka-console-producer.sh --broker-list 192.168.9.126:9092 --topic test
./kafka-console-consumer.sh --zookeeper 192.168.9.126:2181 --topic test --from-beginning  

 

清空topic:

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic app_launch_log --config retention.ms=1000

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic app_launch_log --config retention.ms=604800000

本质就是将某一个topic的日志保留时间设置为1秒,然后等kafka清理进程把数据给清空掉,然后再把日志保留时间设置回来。

 

获取kafka当前最大的offset:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.30.192:9092 --time -1 --topic test

 

kafka作为日志消息队列表现出非常良好的性能和稳定性,但是使用kafka的同时需要对硬盘资源进行监控。

Kafka参数配置

http://blog.csdn.net/lizhitao/article/details/25667831

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部