文档章节

Kafka 入门使用

吐槽的达达仔
 吐槽的达达仔
发布于 2017/03/27 21:19
字数 433
阅读 26
收藏 0

首先,kafka依赖scala和java8环境,所以安装环境。kafka依赖zookeeper作为集群配置管理服务器。

所以需要安装zookeeper。

这里使用的是kafka 0.10.1

kafka server.properties配置:

配置kafka 的server.properties 
vi server.properties #编辑修改相应的参数
broker.id=0
port=9092 #端口号
host.name=192.168.0.11 #服务器IP地址,修改为自己的服务器IP
log.dirs=/usr/local/kafka/log/kafka #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181 #zookeeper地址和端口,单机配置部署,localhost:2181

PS. 关于zookeeper的根目录配置:

PS. 这里ZooKeeper也可以允许你指定一个"chroot"的路径,可以让Kafka集群将需要存储在ZooKeeper的数据存储到指定的路径下这可以让多个Kafka集群或其他应用程序公用同一个ZooKeeper集群。
如:hostname1:port1,hostname2:port2,hostname3:port3/chroot/path

 

kafka的启动命令:

bin/kafka-server-start.sh ../config/server.properties 
./kafka-server-start.sh -daemon ../config/server.properties  后台

 

Kafka创建topic replication 为副本 partitions为并行数 这里配置成1为单机配置

./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

测试单机连通性:

./kafka-console-producer.sh --broker-list 192.168.9.126:9092 --topic test
./kafka-console-consumer.sh --zookeeper 192.168.9.126:2181 --topic test --from-beginning  

 

清空topic:

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic app_launch_log --config retention.ms=1000

./kafka-topics.sh --zookeeper localhost:2181 --alter --topic app_launch_log --config retention.ms=604800000

本质就是将某一个topic的日志保留时间设置为1秒,然后等kafka清理进程把数据给清空掉,然后再把日志保留时间设置回来。

 

获取kafka当前最大的offset:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.30.192:9092 --time -1 --topic test

 

kafka作为日志消息队列表现出非常良好的性能和稳定性,但是使用kafka的同时需要对硬盘资源进行监控。

Kafka参数配置

http://blog.csdn.net/lizhitao/article/details/25667831

 

 

© 著作权归作者所有

上一篇: Guava中的EventBus
下一篇: PostgreSQL优化
吐槽的达达仔
粉丝 27
博文 103
码字总数 6775
作品 0
广州
程序员
私信 提问
docker入门到实战(6)在docker中安装和使用kafka

下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像,在hub.docker.com中可以搜索到。 1、docker pull wurstmeister/zookeeper 2、docker pull wurstmeister/...

编程老司机
2018/05/14
0
0
tech| kafka入门书籍导读

date: 2019-01-07 18:19:42 title: tech| kafka入门书籍导读 梳理了一下自己在入门 kafka 时读过的一些书, 希望能帮助到对 kafka 感兴趣的小伙伴. 涉及到的书籍: kafka 权威指南 Kafka: The...

daydaygo
02/07
0
0
搞懂分布式技术22:Kafka 安装及快速入门

Kafka 安装及快速入门2018-01-04 ×文章目录 1. 介绍 2. 安装 kafka 3. 功能验证: 4. 集群配置 5. 使用 Kafka Connect 来导入/导出数据 6. 使用 Kafka 流来处理数据 7. 参考 8. 关注我 9. 最...

你的猫大哥
2018/07/05
0
0
Fabric Kafka入门

Hyperledger Fabric推荐Kafa用于生产环境。Kafa是一个分布式、具有水平伸缩能力、崩溃容错能力的日志系统。在Hyperledger Fabric区块链中可以有多个Kafka节点,使用zookeeper进行同步管理。本...

geek12345
04/28
227
0
kafka stream入门1

kafka stream入门1 最近本人在单位经常有对于大量心跳数据进行汇总计算,然后更加计算汇总出不同种类的中间数据集合,来提供后期的处理的需求。 原先的方案是自己写了不少的job,然后利用zoo...

来福马斯特
2017/09/22
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
今天
5
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
今天
6
0
数据库中间件MyCat

什么是MyCat? 查看官网的介绍是这样说的 一个彻底开源的,面向企业应用开发的大数据库集群 支持事务、ACID、可以替代MySQL的加强版数据库 一个可以视为MySQL集群的企业级数据库,用来替代昂贵...

沉浮_
今天
4
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
今天
7
0
常用物流快递单号查询接口种类及对接方法

目前快递查询接口有两种方式可以对接,一是和顺丰、圆通、中通、天天、韵达、德邦这些快递公司一一对接接口,二是和快递鸟这样第三方集成接口一次性对接多家常用快递。第一种耗费时间长,但是...

程序的小猿
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部