文档章节

kafka集群管理工具kafka-manager部署安装

啊哈关关
 啊哈关关
发布于 2017/09/02 10:07
字数 696
阅读 267
收藏 1

kafka manager支持以下功能:

  1. 管理多个kafka集群
  2. 方便的集群状态监控 (包括topics, consumers, offsets, brokers, replica distribution, partition distribution)
  3. 方便选择你想要的分区副本
  4. 配置分区任务,包括选择使用哪些brokers
  5. 可以对分区任务重分配
  6. 提供不同的选项来创建topic (0.8.1.1 has different configs than 0.8.2+,不同版本配置上有所不同)
  7. 删除topic(仅仅支持 0.8.2以上版本并且注意在broker config中设置delete.topic.enable=true in broker config)
  8. Topic list会指明哪些topic被删除 (在0.8.2以上版本适用)
  9. 批量产生分区任务并且和多个topic和brokers关联
  10. 批量运行多个主题对应的多个分区
  11. 向已经存在的主题中添加分区
  12. 对已经存在的topic修改配置
  13. 可选地在broker level和topic level的度量中启用JMX polling功能
  14. 可选地过滤在ZK上没有 ids/ owners/ & offsets/ directories的consumer

一、安装

1.安装sbt

brew install sbt

2.下载编译

git clone https://github.com/yahoo/kafka-manager.git

cd kafka-manager

sbt clean dist

3.编译完成后,包会在/target/universal

4.解压

unzip kafka-manager-1.3.3.13.zip -d /Users/guanguan/tools
cd kafka-manager-1.3.3.13/

5.修改配置文件application.conf

vim conf/application.conf

akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
}

改为

akka {
  loggers = ["akka.event.slf4j.Slf4jLogger"]
  loglevel = "INFO"
  logger-startup-timeout = 30s
}

# 如果zk是集群,这里填写多个zk地址
kafka-manager.zkhosts="localhost:2181"


 

以上配置文件的修改可解决下面所展示的问题:

kafka-manager_1 | akka.ConfigurationException: Logger specified in config can't be loaded [akka.event.slf4j.Slf4jLogger] due to [akka.event.Logging$LoggerInitializationException: Logger log1-Slf4jLogger did not respond with LoggerInitialized, sent instead [TIMEOUT]]

启动zookeeper服务

cd zookeeper-3.4.9
bin/zkServer.sh start zk0.cfg 

6.启动kafka-manager

bin/kafka-manager

kafka-manager 默认的端口是9000,可通过 -Dhttp.port,指定端口; -Dconfig.file=conf/application.conf指定配置文件:

nohup bin/kafka-manager -Dconfig.file=conf/application.conf -Dhttp.port=8080 &

7.在浏览器输入localhost:9000

此时表示已经安装成功了。

二、测试kafka-manager

1.新建cluster,输入cluster名字和zookeeper地址

 

2.点击保存

点击新建的test-cluster

3.在该cluster中新增一个topic

 

创建完成后是这样的:

 

4.接下来就要进行通信啦:

上图表明新增的topic已经存在,host的值为172.20.139.89

5.发送方:


bin/kafka-console-producer.sh --broker-list 172.20.139.89:9092 --topic test-topic

6.接收方

bin/kafka-console-consumer.sh --zookeeper localhost:2181 --from-beginning --topic test-topic

此时表明一切正常安装。

 

© 著作权归作者所有

啊哈关关
粉丝 9
博文 187
码字总数 80116
作品 0
深圳
程序员
私信 提问
kafka manger 安装

0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka...

杨春炼
2016/06/23
652
0
Kafka集群及监控安装指南

kafka官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载: kafka2.10-0.8.2.0.tar.gz 解压: tar -zxvf kafka2.10-0.8.......

zyqJustin
2016/04/16
495
0
Kafka-manager部署与测试(完整)

Kafka-manager部署 一、概念 概念百度了一下,可以根据相关资料进行理解。 1.1 Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 Broker Kaf...

KaliArch
2017/06/12
0
0
kafka开源管理工具Kafka-manager部署

  简介      Kafka-manager是雅虎开源的apache-kafka管理工具,是用Scala写,所以在web页面进行操作即可。   Githubhttps://github.com/yahoo/kafka-manager   主要特性:   1. ...

linux运维菜
2018/04/19
0
0
kafka-manager安装与使用

kafka-manager安装与使用 www.blogways.net2018-01-071 阅读 安装kafka 目 录 1 kafka manager简介 2 kafka manager安装 3 kafka manager使用 一、kafka manager简介 为了简化开发者和服务工...

www.blogways.net
2018/01/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Mybatis Plus删除

/** @author beth @data 2019-10-17 00:30 */ @RunWith(SpringRunner.class) @SpringBootTest public class DeleteTest { @Autowired private UserInfoMapper userInfoMapper; /** 根据id删除......

一个yuanbeth
今天
4
0
总结

一、设计模式 简单工厂:一个简单而且比较杂的工厂,可以创建任何对象给你 复杂工厂:先创建一种基础类型的工厂接口,然后各自集成实现这个接口,但是每个工厂都是这个基础类的扩展分类,spr...

BobwithB
今天
5
0
java内存模型

前言 Java作为一种面向对象的,跨平台语言,其对象、内存等一直是比较难的知识点。而且很多概念的名称看起来又那么相似,很多人会傻傻分不清楚。比如本文我们要讨论的JVM内存结构、Java内存模...

ls_cherish
今天
4
0
友元函数强制转换

友元函数强制转换 p522

天王盖地虎626
昨天
5
0
js中实现页面跳转(返回前一页、后一页)

本文转载于:专业的前端网站➸js中实现页面跳转(返回前一页、后一页) 一:JS 重载页面,本地刷新,返回上一页 复制代码代码如下: <a href="javascript:history.go(-1)">返回上一页</a> <a h...

前端老手
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部