文档章节

kafka单机版的安装、集群部署 及使用

o
 osc_wws45aot
发布于 2019/08/20 09:15
字数 455
阅读 10
收藏 0

精选30+云产品,助力企业轻松上云!>>>

1.安装kafka(单机版)

1.1上传 kafka_2.11-2.0.0.tgz 到 /root/Downloads

1.2解压 tar 包

    tar -zxvf kafka_2.11-2.0.0.tgz

    解压后:kafka_2.11-2.0.0

1.3删除 LICENSE、NOTICE 、site-docs

     rm -rf LICENSE NOTICE site-docs

1.4

1.4.1启动kafka单机版的命令(在启动kafka之前先启动zookeeper)

 kafka的libs文件夹中内置了zookeeper

1.4.2 在kafka的bin目录下启动
        ./zookeeper-server-start.sh ../config/zookeeper.properties

        在启动该命令之后,可以在该虚拟机上查看进程

1.4.3接下来,在bin目录下启动kafka
       ./kafka-server-start.sh ../config/server.properties
       再次查看进程

1.5 开始使用kafka

1.5.1 topic是用来放消息的,也可以做消息分类

         创建topic,在bin目录下
        ./kafka-topics.sh --create --zookeeper zhangqi:2181 --replication-factor 1 --partitions 1 --topic test

1.5.2 查看topic
        ./kafka-topics.sh --list --zookeeper zhangqi:2181

1.5.3 启动生产者
        ./kafka-console-producer.sh --broker-list zhangqi:9092 --topic test
        启动消费者
       ./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test

        生产者的作用:往topic里生产数据。生产者可以是java客户端、flume等

        消费者的作用:消费topic里的数据。消费者可以是java客户端、spark streaming等

       什么叫broker(代理)?安装了kafka服务的机器

1.5.4 消费者可以接收,生成者生成的数据

         消费者可以接收,生成者生成的数据,如果不指定 --from-beginning  那么消费者消费的是最新的数据。指定了之后也可以消费以前的数据

1.5.5  消费者,可以消费之前产生的数据
        ./kafka-console-consumer.sh --bootstrap-server zhangqi:9092 --topic test --from-beginning

 

2.kafka集群部署

  分别往192.168.115.11、192.168.115.12、192.168.115.13这三台虚拟机上安装kafka

2.1 将安装好的一台分别拷贝到其余2台

2.2 修改 /root/Downloads/kafka_2.11-2.0.0/config/server.properties文件里的broker.id

     修改kafka运行日志存放的路径

      配置连接zookeeper集群地址

2.3集群配置成功

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
Kafka单机配置部署

摘要:上节 学习了Kafka的理论知识,这里安装单机版以便后续的测试。 首先安装jdk 一、单机部署zk 1.1安装: tar -zxf zookeeper-3.4.10.tar.gz -C /opt/ 1.2配置: 在主目录下创建data用于存...

osc_l745c1nv
2018/04/01
6
0
kafka集群搭建及结合springboot使用

1.场景描述 因kafka以前用的不多,只往topic中写入和读取过数据,这次刚好又要用到,记录下kafka集群搭建及结合springboot使用。 2. 解决方案 2.1 简单介绍 (一)关于kafka,网上的介绍有很...

osc_7izxyaq6
04/16
5
0
SpringXD分布式模式部署

SpringXD分布式模式部署 OneCoder2016-10-2170 阅读 Spring XD有两种运行模式:单机和分布式模式。这里关注分布式模式的部署和运行时特点。 分布式集群组件 Spring XD分布式环境包含以下组件...

OneCoder
2016/10/21
0
0
kafka的安装和初步使用

简介 最近开发的项目中,kafka用的比较多,为了方便梳理,从今天起准备记录一些关于kafka的文章,首先,当然是如何安装kafka了。 Apache Kafka是分布式发布-订阅消息系统。 Apache Kafka与传...

那啥快看
2019/11/24
0
0
Kafka,ZK集群开发或部署环境搭建及实验

本文属于原创,转载注明出处,欢迎关注微信小程序 微信公众号或者网站 https://xiaobaiai.net 或者我的CSDN http://blog.csdn.net/freeape [TOC] 1 前言 Kafka其他特点这里就不罗嗦了,本篇主...

yicm
2019/12/15
29
0

没有更多内容

加载失败,请刷新页面

加载更多

Eclipse_JavaEE_Tomcat_MySQL环境配置

安装java环境,配置系统变量(JAVA_HOME,绝对路径) 下载eclipse+Tomcat+mysql window——》preference——》server——》runtime——》tomcat环境 项目右键build path 配mysql jar ,libra...

愿有时光可回首
今天
24
0
MySQL原理 - InnoDB引擎 - 行记录存储 - Redundant行格式

本文基于 MySQL 8 在上一篇:MySQL原理 - InnoDB引擎 - 行记录存储 - Compact格式 中,我们介绍了什么是 InnoDB 行记录存储以及 Compact 行格式,在这一篇中,我们继续介绍其他三种行格式。 ...

zhxhash
今天
29
0
leetcode面试题 17.13(恢复空格)--Java语言实现

求: 哦,不!你不小心把一个长篇文章中的空格、标点都删掉了,并且大写也弄成了小写。像句子"I reset the computer. It still didn’t boot!"已经变成了"iresetthecomputeritstilldidntboo...

拓拔北海
今天
19
0
B站跨年晚会究竟做对了什么?

燃财经(ID:rancaijing)原创 作者 | 赵磊 编辑 | 周昶帆 “补课”是《bilibili晚会 二零一九最美的夜》这个视频中,观众在前两分钟刷得最多的弹幕,寓意着观众是在元旦之后回来补看跨年晚会...

子乾建建_Jeff
01/07
63
0
关于Scrapy爬虫项目运行和调试的小技巧(上篇)

点击上方“Python爬虫与数据挖掘”,进行关注 回复“书籍”即可获赠Python从入门到进阶共10本电子书 今 日 鸡 汤 迟日江山丽,春风花草香。泥融飞燕子,沙暖睡鸳鸯。 扫除运行Scrapy爬虫程序...

yuhan336
04/02
26
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部