文档章节

Kafka安装和消息操作

夜雨寄北09
 夜雨寄北09
发布于 2017/07/24 17:17
字数 376
阅读 40
收藏 1

下载

下载地址:http://kafka.apache.org/downloads

当前最新版本为0.11.0.0,建议下载 kafka_2.11-0.11.0.0.tgz

解压

tar -xzf kafka_2.11-0.11.0.0.tgz
cd kafka_2.11-0.11.0.0

启动服务

Kafka使用ZooKeeper,首先需要启动Zookeeper,Kafka内置了Zookeeper,可以用命令启动一个单节点Zookper:

bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper默认端口为2181,可在zookeeper.properties中修改。

开启一个新的终端,启动Kafka:

bin/kafka-server-start.sh config/server.properties

创建Topic

创建一个单分片,单复制,名为test的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看当前topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

相对于手动创建topic,也可以设置当发送信息到不存在的topic时,自动创建topic。

查看topic明细:

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

删除topic:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

永久删除topic:
删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 
删除zookeeper "/brokers/topics/"目录下相关topic节点
cd /usr/lib/zookeeper,或 cd <zookeeper安装目录>
bin/zkCli.sh -server 127.0.0.1
ls /brokers/topics/test
rmr /brokers/topics/test
rmr /admin/delete_topics/test

发送消息

开启一个新的终端,启动一个消息生产者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

发送消息:

This is a message
This is another message

接收消息

开启一个新的终端,启动一个消费者:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

可以看到接收到的消息。

停止Kafka服务

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

 

© 著作权归作者所有

共有 人打赏支持
夜雨寄北09
粉丝 9
博文 16
码字总数 11686
作品 0
浦东
程序员
私信 提问
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0
Spring Boot集成Kafka

Spring Boot集成Kafka Spring Boot集成Kafka 前提介绍 Kafka Kafka安装与使用 Spring Boot集成 总结 参考资料 前提介绍 由于公司使用了微服务架构,很多业务拆成了很多小模块。 有个场景是这...

流水不腐小夏
2017/11/26
0
0
Kafka(二):Kafka安装与使用

一、安装Kafka 官方快速安装文档:http://kafka.apache.org/quickstart 安装kafka 启动zookeeper服务 启动kafka服务 二、Kafka操作 1. 创建Topic 创建一个名叫kafka_test, 一个复制因子一个...

saytime
04/15
0
0
【Kafka源码】Kafka代码模块

Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装。 传送门 当然,我们要分析源码,需要下载源码,请自行从github上面下载。 说明:本文使用的kafka版本为0.10.0.1,这...

端木轩
2017/10/23
0
0
Kafka安装与简介

今天来讲一下Kafka,它是一个消息队列,应用场景比较广泛。刚开始学习一门东西,咱们先不管它是干什么的,先跑起来才是正经,所以本文主要讲两点: 安装搭建Kafka 简单介绍下Kafka的原理和应...

Trigl
2017/05/23
0
0

没有更多内容

加载失败,请刷新页面

加载更多

sed, awk 练习

1. sed打印某行到某行之间的内容 2. sed 转换大小写 将单词首字母转化大写 将所有小写转化大写 3. sed 在某一行最后面添加一个数字 4. 删除某行到最后一行 解析: {:a;N;$!ba;d} :a : 是...

Fc丶
今天
2
0
babel6升级到7,jest-babel报错:Requires Babel "^7.0.0-0", but was loaded with "6.26.3".

自从将前端环境更新到babel7,jest-babel之前是基于babel6的,执行时候就会报:Requires Babel "^7.0.0-0", but was loaded with "6.26.3". 很烦,因为连续帮好几台电脑修复这个问题,所以记...

曾建凯
今天
1
0
探索802.11ax

802.11ax承诺在真实条件下改善峰值性能和最差情况。 如何改善今天的Wi-Fi? 在决定如何改进当前版本以外的Wi-Fi时,802.11ac,IEEE和Wi-Fi联盟调查了Wi-Fi部署和行为,以确定更广泛使用的障碍...

linuxprobe16
今天
2
0
使用linux将64G的SDCARD格式化为FAT32

一、命令如下: sudo fdisk -lsudo mkfs.vfat /dev/sda -Isudo fdisk /dev/sda Welcome to fdisk (util-linux 2.29.2). Changes will remain in memory only, until you decide to wri......

mbzhong
今天
4
0
深入理解Plasma(四):Plasma Cash

这一系列文章将围绕以太坊的二层扩容框架,介绍其基本运行原理,具体操作细节,安全性讨论以及未来研究方向等。本篇文章主要介绍在 Plasma 框架下的项目 Plasma Cash。 深入理解Plasma(1):...

HiBlock
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部