文档章节

2.1、Linux下Kafka环境搭建及基本使用

极客慧
 极客慧
发布于 2018/11/26 00:02
字数 1360
阅读 1514
收藏 2

一、kafka单节点单broker环境搭建

系统环境:centos 64位 mini
虚拟机:Virtual Box

如果你不熟悉virtual box的使用,不知道如何安装centos系统,可以参考之前发布的文章:

快速掌握基于Virtualbox最小化安装centos6及远程工具xshell使用

快速掌握virtualbox虚拟机搭建centos系统集群

如果你不想用virtual box,也可以使用docker,之前发布的文章也有介绍,请进入头条号查看

1、Windows下搭建单节点kafka环境

请参考之前发布在头条号上的文章,已经详细介绍了

1)JDK环境搭建

快速搭建Java(JDK)Tomcat基础开发环境

2)zookeeper环境搭建

Windows下安装zookeeper

3)kafka环境搭建

Windows下安装Kafka及简单使用

2、Linux下搭建

1)JDK环境搭建

下载:http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

解压:

 

cd /usr/local/src
tar -zxvf jdk-8u181-linux-x64.tar.gz
mv jdk1.8.0_181 ../

配置:

 

cd /usr/local/jdk1.8.0_181
vim /etc/profile

 

export JAVA_HOME=/usr/local/jdk1.8.0_181
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证:java -version

2)zookeeper环境搭建

  • 下载

wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/zookeeper-3.4.12.tar.gz

  • 解压

 

cd /usr/local/src
tar -zxvf zookeeper-3.4.12.tar.gz
mv zookeeper-3.4.12 ../
  • 配置环境变量

 

cd /usr/local/zookeeper-3.4.12
mkdir data
mkdir logs
vim /etc/profile

 

export ZK_HOME=/usr/local/zookeeper-3.4.12
export PATH=$ZK_HOME/bin:$PATH

source /etc/profile

  • 修改zoo.cfg

 

cp conf/zoo_sample.cfg conf/zoo.cfg
vim conf/zoo.cfg
dataDir=/usr/local/zookeeper-3.4.12/data
dataLogDir=/usr/local/zookeeper-3.4.12/logs
  • 启动测试

zkServer.sh start

 

[root@jikeh zookeeper-3.4.12]# zkServer.sh start
ZooKeeper JMX enabled by default
Using config: /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
  • 查看启动进程信息

 

[root@jikeh local]# jps
3829 QuorumPeerMain
3848 Jps
[root@jikeh local]# jps -m
3858 Jps -m
3829 QuorumPeerMain /usr/local/zookeeper-3.4.12/bin/../conf/zoo.cfg

注释:zookeeper启动后,会多一个进程QuorumPeerMain

3)kafka环境搭建

  • 下载:

 

cd /usr/local/src
wget https://archive.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

注释:我们使用的版本是0.9.0.1

  • 解压:

 

tar -zxvf kafka_2.11-0.9.0.1.tgz
mv kafka_2.11-0.9.0.1 ../
  • 配置环境变量:

vim /etc/profile

 

export KAFKA_HOME=/usr/local/kafka_2.11-0.9.0.1
export PATH=$KAFKA_HOME/bin:$PATH

使得环境变量立即生效:source /etc/profile

  • 配置server.properties

 

cd /usr/local/kafka_2.11-0.9.0.1
vim conf/server.properties

server.properties重要参数说明:

 

broker.id=0//This must be set to a unique integer for each broker
advertised.listeners=PLAINTEXT://192.168.0.108:9092:远程连接需要配置下(0.9.0.1版本没有这个问题)
log.dirs=/usr/local/kafka_2.11-0.9.0.1/kafka-logs//默认的是不会持久化存储的,这里必须更改下
zookeeper.connect=//zookeeper的连接地址:根据实际进行配置

3)启动测试

配置你的hosts:

127.0.0.1 jikeh

启动zookeeper:

Kafka 使用 ZooKeeper 如果你还没有ZooKeeper服务器,你需要先启动一个ZooKeeper服务器。 您可以通过与kafka打包在一起的便捷脚本来快速简单地创建一个单节点ZooKeeper实例。

cd /usr/local/kafka_2.11-0.9.0.1

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka:

bin/kafka-server-start.sh config/server.properties

后台启动:

bin/kafka-server-start.sh -daemon config/server-1.properties &

注释:一个server.properties其实,就可以当做一个broker

jps:查看当前运行的进程
jps -m:查看当前运行进程的详细信息

二、kafka基本使用

1、创建Topic

1)新建topic

查看命令的帮助信息:直接输入bin/kafka-topics.sh,然后enter,就可以查看所有的参数信息

bin/kafka-topics.sh --create --zookeeper 192.168.0.108:2181 --replication-factor 1 --partitions 1 --topic test

注释:参数说明

  • replication-factor:设置副本数
  • partitions:设置分区数

2)查看当前所有的topic列表

bin/kafka-topics.sh --list --zookeeper 192.168.0.108:2181

3)看下topic的详情信息

查看所有topic:

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181

查看指定topic:

bin/kafka-topics.sh --describe --zookeeper 192.168.0.108:2181 --topic test

2、发送消息

bin/kafka-console-producer.sh --broker-list 192.168.0.108:9092 --topic test

3、消费消息

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

 

[root@jikeh kafka_2.11-0.9.0.1]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic my-replicated-topic
Using the ConsoleConsumer with old consumer is deprecated and will be removed in a future major release. Consider using the new consumer by passing [bootstrap-server] instead of [zookeeper].

上面的警告信息,表示:这是个废弃的用法,建议使用新的用法[bootstrap-server]

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test

注释:

  • --from-beginning参数的作用:重新开始消费消息,不管是否已经被消费了

  • 对于低版本的kafka需要这样连接:

    bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

4、疑惑点

通过以上命令,很多人就有疑问了,到底什么时候跟zookeeper打交道,什么时候跟broker打交道呢,这很容易让人糊涂

创建topic我是跟zookeeper打交道,而生产、消费消息却与broker打交道,但是低版本的kafka,消费者还是与zookeeper进行打交道的

注意:

低版本的kafka:需要这样消费

bin/kafka-console-consumer.sh --zookeeper 192.168.0.108:2181 --topic test --from-beginning

高版本的kafka:

bin/kafka-console-consumer.sh --bootstrap-server 192.168.0.108:9092 --topic test --from-beginning

注释:官网上的文档,其实是按高版本的kafka来更新文档的

为什么会有这种区别呢?
Kafka consumers在早先的版本中,offset默认存储在ZooKeeper中。

三、kafka客户端远程连接测试

如果你理解上有困难,欢迎留言,或者参考视频教程:
带你看官网学习Kafka,掌握Linux下Kafka环境搭建及基本使用

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server

© 著作权归作者所有

极客慧
粉丝 34
博文 8
码字总数 14207
作品 0
杭州
高级程序员
私信 提问
CentOs7 Kafka单机消息的发布-订阅

这段时间一直在学习大数据相关的知识,从Spark,Spark Streaming,Scala到Kafka等等,涉及到的知识面很多,总体看下来,觉得大数据还是很好玩的,在现在及以后的方方面面都很适用。下面说下K...

海岸线的曙光
2018/03/02
218
0
Kafka1.1.0集群的简单使用(java)

Kafka本地集群搭建完成,简单入门Kafka集群的shell操作后,开始Java代码实现简单功能。 kafka版本说明:此处使用最新版本(现在)—1.1.0版本 1.1.0 is the latest release. The current sta...

tian330726
2018/04/19
0
0
Zookeeper+Kafka集群搭建

Zookeeper集群搭建 Kafka集群是把状态保存在Zookeeper中的,首先要搭建Zookeeper集群。 1、软件环境 (3台服务器-我的测试) 192.168.30.204 server1 192.168.30.205 server2 192.168.30.206...

qianghong000
2018/06/26
0
0
linux环境下kafka的搭建

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 https://blog.csdn.net/changyinling520/article/details/99228607 一.kafka基本实现配置 准...

火腿编程
08/11
0
0
Oracle Kafka 测试环境搭建

搭建一个 Oracle + Oracle Golden Gate + Kafka Connector 测试环境 ,把类似的oracle的增删改操作发布到Kafka上。所有工具都是有现成的。 类似于这个: https://www.pythian.com/blog/golde...

zb1481207860565
2017/02/03
14
0

没有更多内容

加载失败,请刷新页面

加载更多

可能是国内第一篇全面解读 Java 现状及趋势的文章

作者 | 张晓楠 Dragonwell JDK 最新版本 8.1.1-GA 发布,包括全新特性和更新! 导读:InfoQ 发布《2019 中国 Java 发展趋势报告》,反映 Java 在中国发展的独特性,同时也希望大家对 Java 有...

阿里云官方博客
9分钟前
2
0
Spring Boot 2.x基础教程:Swagger静态文档的生成

前言 通过之前的两篇关于Swagger入门以及具体使用细节的介绍之后,我们已经能够轻松地为Spring MVC的Web项目自动构建出API文档了。如果您还不熟悉这块,可以先阅读: Spring Boot 2.x基础教程...

程序猿DD
13分钟前
2
0
《毅力》读书笔记

1.确信你全身心地投入 2.准备好为目标进行艰难的跋涉 3.通过减少需要使用毅力的情形,为将来的挑战做好准备 4.尽可能具体细致地确定你的目标和实现目标的过程 5.把挑战分解为小而易于管理的小...

lingch
14分钟前
3
0
zk中快速选举FastLeaderElection实现

选举涉及概念 服务器状态 投票 如何选择投票? 协议 选举 如何进行选举? epoch 发送者 接收者 发送队列 接收队列 服务器状态 public enum ServerState { LOOKING,寻找Leader状态,当服务处于...

writeademo
17分钟前
2
0
教你玩转Linux—磁盘管理

Linux磁盘管理好坏直接关系到整个系统的性能问题,Linux磁盘管理常用三个命令为df、du和fdisk。 df df命令参数功能:检查文件系统的磁盘空间占用情况。可以利用该命令来获取硬盘被占用了多少...

Linux就该这么学
20分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部