kafka manger 安装

原创
2016/06/23 16:21
阅读数 1K

#0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。

为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具。

该软件是用Scala语言编写的。目前(2015年02月03日)雅虎已经开源了Kafka Manager工具。这款Kafka集群管理工具主要支持以下几个功能:

  1、管理几个不同的集群;

  2、很容易地检查集群的状态(topics, brokers, 副本的分布, 分区的分布);

  3、选择副本;

  4、产生分区分配(Generate partition assignments)基于集群的当前状态;

  5、重新分配分区。

工具的截图及详细介绍参考 源 出处~

项目在github上获取 https://github.com/yahoo/kafka-manager

1-安装sbt

sbt是scala的打包构建工具。
    http://www.scala-sbt.org/download.html
mac下安装
    brew install sbt
ubuntu下安装
    echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
    sudo apt-get update
    sudo apt-get install sbt 

2-下载+编译

下载
    git clone git@github.com:yahoo/kafka-manager.git
编译,生成发布包
    cd kafka-manager
    ./sbt clean dist
生成的包会在kafka-manager/target/universal 下面。生成的包只需要java环境就可以运行了,在部署的机器上不需要安装sbt。

一般打包很慢,那么就配置代理。

sbt的配置http代理的参考文档:
    http://www.scala-sbt.org/0.12.1/docs/Detailed-Topics/Setup-Notes.html#http-proxy    
通过-D设置叁数即可:
    java -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=8080 -Dhttp.proxyUser=username -Dhttp.proxyPassword=mypassword
也可以用下面这种方式,设置一下SBT_OPTS的环境变量即可:
    export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=myproxy -Dhttp.proxyPort=myport"
要注意的是,myproxy,这个值里不要带http前缀,也不要带端口号。
比如,你的代理是http://localhost:8123,那么应该这样配置:
    export SBT_OPTS="$SBT_OPTS -Dhttp.proxyHost=localhost -Dhttp.proxyPort=8123"

3-部署

打好包好,在部署机器上解压,修改好配置文件,就可以运行了。
解压
    unzip kafka-manager-1.0-SNAPSHOT.zip
修改conf/application.conf,把kafka-manager.zkhosts改为自己的zookeeper服务器地址
    kafka-manager.zkhosts="localhost:2181"
启动
    cd kafka-manager-1.0-SNAPSHOT/bin
    ./kafka-manager -Dconfig.file=../conf/application.conf
查看帮助 和 后台运行:
    ./kafka-manager -h
    nohup ./kafka-manager -Dconfig.file=../conf/application.conf >/dev/null 2>&1 &
默认http端口是9000,可以修改配置文件里的http.port的值,或者通过命令行参数传递:
    ./kafka-manager -Dhttp.port=9001
正常来说,play框架应该会自动加载conf/application.conf配置里的内容,但是貌似这个不起作用,要显式指定才行。
    参考: https://github.com/yahoo/kafka-manager/issues/16

donation:

如有捐赠意向的朋友,请捐赠到支付宝账号:qdcccc@gmail.com 账户名:杨春炼

ask for help:

如需帮助,请加QQ:1028750558或微信:lian-ye

展开阅读全文
打赏
0
23 收藏
分享
加载中
更多评论
打赏
0 评论
23 收藏
0
分享
OSCHINA
登录后可查看更多优质内容
返回顶部
顶部