文档章节

Kafka集群配置,以及集群管理工具Kafka Manager的安装

稻草鸟人
 稻草鸟人
发布于 2016/04/26 15:17
字数 702
阅读 3897
收藏 58

我们使用如下三台机器搭建Kafka集群,此文档在我们已经安装了zookeeper集群的前提下有效,文章中zookeeper全部使用zk缩写表示

192.168.1.96
192.168.1.45
192.168.1.34

下面操作在不说明的情况下都是在96这台机器上做的操作

  • 下载Kafka

wget http://apache.fayea.com/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

  • 解压Kafka

tar xzvf kafka_2.11-0.9.0.1.tgz

  • 修改配置文件 config/server.properties

broker.id=0
advertised.host.name=192.168.1.96
log.dirs=/data/store/log/kafka-logs
zookeeper.connect=192.168.1.96:2181,192.168.1.45:2181,192.168.1.34:2181/kafka
1、 broker.id 每台集群机器唯一,从0开始递增,待我们把kafka同步到其他机器上之后需要修改每台机器的这个ID
2、 如下图所示,它的意思是我们可以在zookeeper.connect最后指定一个chroot地址,当然不是必须的,默认使用的是根目录,修改这个等于指定了kafka集群需要存储在zk的数据目录,但是我们需要在集群启动前在zk中手动建立这样一个目录 


3、 advertised.host.name 配置成当前服务器的ip,如果没有配置,默认值是java.net.InetAddress.getCanonicalHostName()当时我没有修改这个值,在本地测试的时候出现了连接超时问题,而且在kafka manager里面查看broker的ip都是localhost,修改之后则为具体的ip地址,估计是和getCanonicalHostName()有关,这个问题留待以后考证啦.. 
4、 如何创建这个chroot路径呢?使用如下命令连接到任意一台zk服务器

bin/zkCli.sh
create /kafka ''


  • 同步kafka到其他机器上,并且修改config/server.properties里面的broker.id,别忘记了

scp -r kafka_2.11-0.9.0.1 192.168.1.34:/data/strawbird/kafka_2.11-0.9.0.1
scp -r kafka_2.11-0.9.0.1 192.168.1.45:/data/strawbird/kafka_2.11-0.9.0.1

  • 分别启动三台机器的kafka

bin/kafka-server-start.sh config/server.properties &

安装Kafka Manager

git clone https://github.com/yahoo/kafka-manager
cd kafka-manager
//下面这步操作真的是要等很久,耐心等待吧,不瞒您说,我这这里一共花了2752s,所以....呵呵哒
sbt clean dist
cd target/universal/ //在universal目录下我们可以看到如下两个文件


 

//解压上图中的zip文件
unzip kafka-manager-1.3.0.8.zip
cd kafka-manager-1.3.0.8
//修改conf/application.properties中科院为kafka-manager.zkhosts的值



//启动kafka manager
bin/kafka-manager
//启动之后、默认启动的端口是9000,所以我们在浏览器访问这个地址 http://192.168.1.96:9000,然后自己添加一个集群 大致可以看到如下的信息

参考文档

  • http://kafka.apache.org/documentation.html

本文基于署名-非商业性使用-相同方式共享 4.0许可协议发布,欢迎转载、使用、重新发布,但务必保留文章署名稻草鸟人(包含此订阅号二维码)

© 著作权归作者所有

稻草鸟人

稻草鸟人

粉丝 51
博文 12
码字总数 10204
作品 0
上海
后端工程师
私信 提问
加载中

评论(4)

鑢七花
鑢七花

引用来自“稻草鸟人”的评论

引用来自“鑢七花”的评论

您好,logkafka那里怎么设置啊?

回复@鑢七花 : kafka的日志?
对,就是kafka-manager的界面上的logkafka
稻草鸟人
稻草鸟人 博主

引用来自“鑢七花”的评论

您好,logkafka那里怎么设置啊?

回复@鑢七花 : kafka的日志?
鑢七花
鑢七花
您好,logkafka那里怎么设置啊?
51pansou
51pansou
聊聊storm的OpaquePartitionedTridentSpoutExecutor

序 本文主要研究一下storm的OpaquePartitionedTridentSpoutExecutor TridentTopology.newStream storm-core-1.2.2-sources.jar!/org/apache/storm/trident/TridentTopology.java TridentTopo......

go4it
2018/11/20
115
1
使用Docker(Mac)搭建 Nginx/Openresty - Kafka - kafkaManager

本文默认读者已经对Docker有一定了解,且清楚使用Docker进行部署的优势。 1.安装Docker(Mac) 官网:https://docs.docker.com/docker-for-mac/install/ 1.1 下载 Docker for Mac 地址:htt...

高广超
2018/05/26
0
0
kafka_0.10.1.0监控及管理

kafka_0.10.1.0监控及管理 1. kafka监控 kafka自身没有监控管理页面,无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数,实在是很不方便,不过好在在github上开源了一些工...

舒文joven
2018/07/19
247
1
Zookeeper+Hadoop+Kafka+Scala+Spark 环境搭建(未完)

Linux环境准备 (Redhat 6.3) 环境规划 IP Hostname 192.168.0.190 master 192.168.0.191 slave1 192.168.0.192 slave2 192.168.0.193 slave3 使用"桥接"网络模式,设置固定的静态IP (或 ......

翻船全靠浪
2016/05/26
30
0
kafka manger 安装

0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka...

杨春炼
2016/06/23
651
0

没有更多内容

加载失败,请刷新页面

加载更多

DevOps是如何实现效率的提升?

随着企业业务对软件系统日益依赖,IT管理与研发模式也随之对“敏态”模式产生了需求,也就是今天时常提起的DevOps。提升效率,是DevOps实践的核心内容之一。就让我们来一起从软件生命周期的业...

嘉为科技
3分钟前
0
0
总结:linux目录之proc

我们系统大部分的基础数据采集,其实就是读取proc目录下的文件,并解析获取数据的过程。 1、如cpu利用率:直接cat /proc/cpuinfo命令,然后获取输出内容,并解析里面的数据,如cpu核数等; ...

浮躁的码农
4分钟前
1
0
比原Bapp红包应用

喜迎国庆期间,比原链在自己的移动端钱包Bycoin(下载地址)和google插件钱byone中推出了红包应用,在国庆期间深受大家好评。 那我们今天就来大概介绍一下比原红包,以及基于比原链开发dapp应用...

比原链Bytom
6分钟前
1
0
Linux中没有rc.local文件的解决方法

Linux中没有rc.local文件的解决方法是什么呢?这应该是很多工程师比较头疼的问题,下面就给大家例举几个解决办法。 比较新的Linux发行版已经没有rc.local文件了。因为已经将其服务化了。 解决...

xiangyunyan
6分钟前
0
0
数据中台在阿里巴巴集团内部的实践情况

作者:品鉴 数据中台门在阿里巴巴集团干什么的,由哪个部门掌管?数据中台在阿里巴巴的主要作用是什么呢?外面吹嘘这么神秘的数据中台在阿里实践的如何呢?今天小编正好要采访数据技术及产品...

阿里云官方博客
6分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部