文档章节

Windows 安装运行 Apache Kafka 教程

大数据之路
 大数据之路
发布于 2012/08/26 02:56
字数 1470
阅读 473
收藏 4

下面是分步指南,教你如何在Windows OS上安装运行Apache Zookeeper和Apache Kafka。

简介

本文讲述了如何在Windows OS上配置并启动Apache Kafka,这篇指南将会指导你安装Java和Apache Zookeeper。 
Apache Kafka是一个快速可扩展的消息队列,能够应对繁重的读写负载,即IO相关工作。更多信息请参见http://kafka.apache.org。由于Zookeeper能提供可靠的分布式协调服务,Apache Kafka需要运行一个Zookeeper实例。更多Zookeeper的相关信息请查看https://zookeeper.apache.org/

关于在Windows安装Kafka的具体步骤,可以查看这个视频:https://youtu.be/OJKesEpO6ok

下载所需文件

针对此教程,我们将Zookeeper与Kafka解压到C盘,不过也可以选择其他位置。这里我们要使用完全的zookeeper,而不是用Kafka打包的那个,因为这是一个单节点的Zookeeper实例。也可以运行打包了zookeeper的Kafka,位置在\kafka\bin\windows库中。

安装

A. JDK安装

1.启动JRE安装,选中复选框“修改目标路径”,然后点击安装。

图片描述

2.修改安装目录,文件夹名称中不能有空格,例如:C:\Java\jre1.8.0_xx\(默认情况下是C:\Program Files\Java\jre1.8.0_xx),然后点击下一步。 
3.现在点击控制面板->系统->高级系统设置->环境变量,打开系统环境变量对话框。 
4.点击用户变量中的新用户变量按钮,然后在变量名称那里输入JAVA_HOME,并将自定义的jre路径填入变量值。如下图所示:

图片描述

Java路径与版本可能会根据所使用Kafka的版本而有所改变

 

5.现在点击ok。 
6.刚才打开的“环境变量“对话框中有“系统变量”一栏,在其中寻找路径变量。 
7.编辑路径与类型“;%JAVA_HOME%\bin”,如下图:

图片描述

8.确认Java安装打开cmd,输入类型“java –version”,应该能够看到刚刚安装的java版本。

图片描述

如果命令行提示与上图类似,请继续。否则,需要重新检查安装版本是否与OS架构匹配(x86, x64),以及环境变量路径是否正确。

B. Zookeeper安装

1.进入Zookeeper设置目录,比如C:\zookeeper-3.4.7\conf 
2. 将“zoo_sample.cfg”重命名为“zoo.cfg”。 
3. 在任意文本编辑器(如notepad)中打开zoo.cfg,我个人更喜欢notepad++。 
4. 找到并编辑dataDir=/tmp/zookeeper to :\zookeeper-3.4.7\data 
5. 与Java中的做法类似,我们在系统环境变量中添加: 
  a. 在系统变量中添加ZOOKEEPER_HOME = C:\zookeeper-3.4.7 
  b. 编辑系统变量,命名为路径 System Variable%ZOOKEEPER_HOME%\bin; 
6. 在zoo.cfg文件中修改默认的Zookeeper端口(默认端口2181)。 
7. 打开新的cmd,输入zkserver,运行Zookeeper。 
8. 命令行提示如下:

图片描述

恭喜,Zookeeper已经完成并在端口2181运行。

C. 安装Kafka

1. 进入Kafka配置目录,例如C:\kafka_2.11-0.9.0.0\config 
2. 编辑文件“server.properties” 
3. 找到并编辑“log.dirs=/tmp/kafka-logs” to “log.dir= C:\kafka_2.11-0.9.0.0\kafka-logs” 
4. 如果Zookeeper在某些其他的机器或集群上运行,可以将“zookeeper.connect:2181”修改为自定义IP与端口。在这个演示中我们使用了同一个机器,因此没必要做修改。文件中的Kafka端口和broker.id也是可以配置的。其他设置不变。 
5. Kafka会按照默认,在9092端口上运行,并连接zookeeper的默认端口:2181。

D. 运行Kafka服务器

重要:请确保在启动Kafka服务器前,Zookeeper实例已经准备好并开始运行。

1.进入Kafka安装目录C:\kafka_2.11-0.9.0.0\ 
2.按下Shift+右键,选择“打开命令窗口”选项,打开命令行。 
3.现在输入.\bin\windows\kafka-server-start.bat .\config\server.properties 并回车。

.\bin\windows\kafka-server-start.bat .\config\server.properties

图片描述

4.如果一切正常,命令行应当是这样:

图片描述

5.现在Kafka已经准备好并开始运行,可以创建主题来存储消息了。我们也能从Java/Scala代码中,或直接从命令行中生成或使用数据。

E. 创建主题

1. 现在创建主题,命名为“test”,replication factor=1(因为只有1个Kafka服务器在运行)。如果集群中所运行的Kafka服务器不止1个,可以相应增加replication-factor,从而提高数据可用性和系统容错性。 
2. 在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。 
3. 输入下面的命令,回车:

kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

图片描述

F. 创建Producer及Consumer来测试服务器。

1.在C:\kafka_2.11-0.9.0.0\bin\windows打开新的命令行。 
2.输入以下命令,启动producer:

kafka-console-producer.bat --broker-list localhost:9092 --topic test

3.在同样的位置C:\kafka_2.11-0.9.0.0\bin\windows再次打开新的命令行。 
4.现在输入下列命令启动consumer:

kafka-console-consumer.bat --zookeeper localhost:2181 --topic test

5.现在有两个命令行窗口,如下图:

图片描述

6.在producer命令行中任意输入内容,回车;在其他consumer命令行中能看到相应消息。

图片描述

7.如果能够将消息推送到consumer端并显示出来的话,Kafka安装就完成了。

一些有用的命令:

cd /home/work/soft/kafka_2.8.0-0.8.1.1/bin

./kafka-topics.sh --create --zookeeper 10.48.170.26:2181 --replication-factor 1 --partitions 3 --topic test          
./kafka-console-producer.sh --broker-list 10.48.170.26:9092 --topic test
./kafka-console-consumer.sh --zookeeper 10.48.170.26:2181 --topic test

1.列出主题:./kafka-topics.sh --list --zookeeper 10.48.170.26:2181 
2.描述主题:./kafka-topics.sh --describe --zookeeper 10.48.170.26:2181 --topic [Topic Name] 
3.从头读取消息:./kafka-console-consumer.sh --zookeeper 10.48.170.26:2181 --topic [Topic Name] --from-beginning 
4.删除主题:./kafka-run-class.sh kafka.admin.TopicCommand --delete --topic [topic_to_delete] --zookeeper 10.48.170.26:2181

Refer:

[1] Setting Up and Running Apache Kafka on Windows OS

https://dzone.com/articles/running-apache-kafka-on-windows-os

[2] Windows OS上安装运行Apache Kafka教程

http://geek.csdn.net/news/detail/52976

本文转载自:http://geek.csdn.net/news/detail/52976

上一篇: 面试小结之 IO 篇
下一篇: TCP TIME_WAIT详解
大数据之路
粉丝 1605
博文 515
码字总数 331782
作品 0
武汉
架构师
私信 提问
不使用 Cygwin 的情况下在Windows 运行 Apache Kafka

引言 本教程的目的是提供在 Windows 操作系统上运行 Apache Kafka 的一个手把手的指南。本指南也将提供设置 Java 与 ZooKeeper 的指导。Apache kafka 是一个快速且可伸缩的消息队列系统,具有...

oschina
2016/01/08
4K
9
kafka学习(一) ---- 基本概念以及环境搭建

由于项目涉及到kafka,自己以前没有接触过这方面的,学习了下,将搭建kafka运行环境同大家分享(单机搭建的Windows下的运行环境,Linux下的由于懒得装虚拟机就没有搭建,以后有时间在分享一次...

火龙战士
2016/08/11
1K
2
Kafka 教程(一) 第一个实例

kafka介绍:Kafka是最初由Linkedin公司工程师用Java和Scala语言开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,可以理解为一个消息...

MrPei
2018/08/08
66
0
windows下搭建Kafka运行环境

windows下搭建Kafka运行环境 http://www.bieryun.com/ 一、安装JDK jdk的安装就不再强调了 二、安装Zookeeper 由于Kafka的运行依赖于Zookeeper,所以在运行Kafka之前需要安装并运行Zookeeper...

优惠券发放
2018/11/22
0
0
架构设计:系统间通信(28)——Kafka及场景应用(中1)

(接上文《架构设计:系统间通信(27)——其他消息中间件及场景应用(上)》) 在本月初的写作计划中,我本来只打算粗略介绍一下Kafka(同样是因为进度原因)。但是,最近有很多朋友要求我详...

yinwenjie
2016/05/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

将key=value转成对象形式

var params = {};testParan.split(',').forEach(item =>{ var tmpArr = item.split('='); Vue.set(params, tmpArr[0].trim(), tmpArr[1].trim());});Vue.set(params, 'sql', sql);......

沉迷代码我爱学习
7分钟前
1
0
什么是分立器件

  分立器件被广泛应用到消费电子、计算机及外设、网络通信,汽车电子、led显示屏等领域。   半导体产业中有两大分支:集成电路和分立器件。   集成电路   集成电路(integrated circ...

仙溪
18分钟前
1
0
kibana rpm安装

https://www.elastic.co/guide/en/kibana/6.2/rpm.html 下载对应的版本wget https://artifacts.elastic.co/downloads/kibana/kibana-6.2.4-x86_64.rpm 安装 rpm -ivh kibana-6.2.4-x86_64......

看的最远的地方
20分钟前
1
0
高防CDN相比较于高防服务器,为何更加稳定?

对于DDoS攻击,那些已经做过网站、平台的人应该知道,DDoS攻击是非常可怕的,因为这种攻击本质上不能防御,或者DDoS攻击只能被减轻,不能完全消除。DDoS,意思是“分布式拒绝服务”。它是一种...

云漫网络Ruan
21分钟前
1
0
线程SuspendThread() ResumeThread()的使用

SuspendThread():挂起线程 If the function succeeds, the return value is the thread's previous suspend count; otherwise, it is (DWORD) -1. ResumeThread():启动线程 If the functio......

rainbowcode
22分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部