文档章节

Kafka安装和消息操作

夜雨寄北09
 夜雨寄北09
发布于 2017/07/24 17:17
字数 376
阅读 43
收藏 1

下载

下载地址:http://kafka.apache.org/downloads

当前最新版本为0.11.0.0,建议下载 kafka_2.11-0.11.0.0.tgz

解压

tar -xzf kafka_2.11-0.11.0.0.tgz
cd kafka_2.11-0.11.0.0

启动服务

Kafka使用ZooKeeper,首先需要启动Zookeeper,Kafka内置了Zookeeper,可以用命令启动一个单节点Zookper:

bin/zookeeper-server-start.sh config/zookeeper.properties

Zookeeper默认端口为2181,可在zookeeper.properties中修改。

开启一个新的终端,启动Kafka:

bin/kafka-server-start.sh config/server.properties

创建Topic

创建一个单分片,单复制,名为test的topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看当前topic列表

bin/kafka-topics.sh --list --zookeeper localhost:2181

相对于手动创建topic,也可以设置当发送信息到不存在的topic时,自动创建topic。

查看topic明细:

bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

删除topic:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

永久删除topic:
删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 
删除zookeeper "/brokers/topics/"目录下相关topic节点
cd /usr/lib/zookeeper,或 cd <zookeeper安装目录>
bin/zkCli.sh -server 127.0.0.1
ls /brokers/topics/test
rmr /brokers/topics/test
rmr /admin/delete_topics/test

发送消息

开启一个新的终端,启动一个消息生产者:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

发送消息:

This is a message
This is another message

接收消息

开启一个新的终端,启动一个消费者:

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

可以看到接收到的消息。

停止Kafka服务

bin/kafka-server-stop.sh
bin/zookeeper-server-stop.sh

 

© 著作权归作者所有

共有 人打赏支持
夜雨寄北09
粉丝 14
博文 17
码字总数 16884
作品 0
浦东
程序员
私信 提问
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0
Oracle Kafka 测试环境搭建

搭建一个 Oracle + Oracle Golden Gate + Kafka Connector 测试环境 ,把类似的oracle的增删改操作发布到Kafka上。所有工具都是有现成的。 类似于这个: https://www.pythian.com/blog/golde...

zb1481207860565
2017/02/03
3
0
Kafka(二):Kafka安装与使用

一、安装Kafka 官方快速安装文档:http://kafka.apache.org/quickstart 安装kafka 启动zookeeper服务 启动kafka服务 二、Kafka操作 1. 创建Topic 创建一个名叫kafka_test, 一个复制因子一个...

saytime
2018/04/15
0
0
【Kafka源码】Kafka代码模块

Kafka源码依赖于Scala环境,首先需要安装scala,这块请自行百度进行安装。 传送门 当然,我们要分析源码,需要下载源码,请自行从github上面下载。 说明:本文使用的kafka版本为0.10.0.1,这...

端木轩
2017/10/23
0
0
Apache Flink 漫谈系列(14-1) - DataStream Connectors之Kafka【编写中]

聊什么 为了满足本系列读者的需求,在完成《Apache Flink 漫谈系列(14) - DataStream Connectors》之前,我先介绍一下Kafka在Apache Flink中的使用。所以本篇以一个简单的示例,向大家介绍在...

金竹
01/14
0
0

没有更多内容

加载失败,请刷新页面

加载更多

中国龙-扬科
33分钟前
0
0
使用apicloud开发移动端APP,IOS list页面滚动卡顿解决记录

给内容容器添加样式:-webkit-overflow-scrolling:touch; -webkit-overflow-scrolling:属性控制元素在移动设备上是否使用滚动回弹效果. auto:使用普通滚动, 当手指从触摸屏上移开,滚动会立即...

万建宁
35分钟前
0
0
Akka消息传送可靠性 23

原文:https://doc.akka.io/docs/akka/2.5/general/message-delivery-reliability.html Akka可帮助您构建可靠的应用程序,这些应用程序在一台计算机中使用多个处理器核心或分布在计算机网络中...

woshixin
57分钟前
2
0
composer安装

前言:随着开源的东西越来越多,一些好的代码我们是可以直接拿过来用的,github更是加快了这一节奏,在github上我们可以看到一些开源的项目、代码块、函数库、类结构等,我们可以直接Fork,然...

echojson
今天
4
0
mysql grant 用户权限总结

用户权限管理主要有以下作用: 1. 可以限制用户访问哪些库、哪些表 2. 可以限制用户对哪些表执行SELECT、CREATE、DELETE、DELETE、ALTER等操作 3. 可以限制用户登录的IP或域名 4. 可以限制用...

Airship
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部