文档章节

kafka 集群状态监控 (kafka Manager)

雁南飞丶
 雁南飞丶
发布于 01/17 15:06
字数 546
阅读 1198
收藏 0

一、监控kafka工具有很多,但是对于运维人员来说kafka Manager 就可以了

二、编译安装地址https://github.com/yahoo/kafka-manager

三、下下来的是源码 需要在开始安装官方文档进行配置前,因为Kafka-manager使用的Play框架,为了编译的速度更快,先配置sbt的maven仓库,由于默认仓库速度较慢,因此大家可以用aliyun提供的maven仓库。(我用的不是阿里云的 我用的是默认) 反正很慢 我等了好大一会 终于出现如下信息

[info] Packaging /root/kafka-manager/target/scala-2.11/kafka-manager_2.11-1.3.3.22-sans-externalized.jar ...
[info] Done packaging.
[info] 
[info] Your package is ready in /root/kafka-manager/target/universal/kafka-manager-1.3.3.22.zip
[info] 
[success] Total time: 155 s, completed Jan 17, 2019 11:43:52 AM

说我编译出的版本是kafka-manager-1.3.3.22.zip目录

四、配置比较简单 1、把编译好的包上传至内网服务器

2、解压unzip kafka-manager-1.3.3.22.zip

3、修改配置conf/application.conf 文件  修改自己的zookeeper地址 

4、`kafka-manager.zkhosts="9.1.10.102:2181,9.1.10.102:2182,9.1.10.102:2183"` 修改完保存

5、执行bin/kafka-manager 默认监听端口9000

6、打开访问http://ip:9000

7、添加kafka集群

8、启动
nohup /root/kafka-manager-1.3.3.22/bin/kafka-manager &

五、先看几张图(注意这里添加集群的时候要选择你的kafka版本 )

开启用户名密码验证

六、遇到2个问题

问题1、

[error] k.m.j.KafkaJMX$ - Failed to connect to service:jmx:rmi:///jndi/rmi://9.11.8.48:-1/jmxrmi java.lang.IllegalArgumentException: requirement failed: No jmx port but jmx polling enabled!

解决:

需要在每个kafka Server上的启动脚本添加

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
    export JMX_PORT="9999"
fi

然后重启kafkaServer

问题2、

[error] k.m.a.c.BrokerViewCacheActor - Failed to get broker topic segment metrics for BrokerIdentity(2,9.11.8.49,9999,false,true,Map(PLAINTEXT -> 9092)) java.io.IOException: Failed to retrieve RMIServer stub: javax.naming.CommunicationException [Root exception is java.rmi.ConnectIOException: error during JRMP connection establishment; nested exception is: javax.net.ssl.SSLHandshakeException: Remote host closed connection during handshake]

解决: 不要开启JMX with SSL功能。

  kafka-manager-1.3.3.22.zip 下载地址
  基于openJDK1.8 
  链接:https://pan.baidu.com/s/14apjqMC1rGmLnnVnIZuJww 
  提取码:j3o3 

© 著作权归作者所有

雁南飞丶
粉丝 37
博文 176
码字总数 228466
作品 0
西安
运维
私信 提问
Kafka集群及监控安装指南

kafka官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载: kafka2.10-0.8.2.0.tar.gz 解压: tar -zxvf kafka2.10-0.8.......

zyqJustin
2016/04/16
409
0
基于Docker搭建分布式消息队列Kafka

本文基于Docker搭建一套单节点的Kafka消息队列,Kafka依赖Zookeeper为其管理集群信息,虽然本例不涉及集群,但是该有的组件都还是会有,典型的kafka分布式架构如下图所示。本例搭建的示例包含...

半夜菊花茶
2017/11/23
0
0
【Kafka】- 监控工具kafka-manager

Kafkawebconsole: 项目已不支持,推荐kafka-manager(yahoo开源) Kafka-manager配置步骤: 1. 下载sbt: https://www.scala-sbt.org/download.html 2. 配置sbt:配置国内镜像源(类似maven仓库...

ZeroneLove
02/24
0
0
kafka-manager安装与使用

kafka-manager安装与使用 www.blogways.net2018-01-071 阅读 安装kafka 目 录 1 kafka manager简介 2 kafka manager安装 3 kafka manager使用 一、kafka manager简介 为了简化开发者和服务工...

www.blogways.net
2018/01/07
0
0
kafka管理监控插件

kafka 监控插件 1.KafkaOffsetMonitor 项目地址:https://github.com/quantifind/KafkaOffsetMonitor KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(......

Ryan-瑞恩
2015/09/23
514
0

没有更多内容

加载失败,请刷新页面

加载更多

说说我当初是如何学Linux的

今天我就说说我当初是如何从一名普通桌面维护工程师,通过学习和努力转成Linux运维工程师的,以及作为Linux运维工程师需要一些什么技能和知识,希望可以帮到一些对Linux有兴趣或者想往Linux...

linuxCool
25分钟前
0
0
Springboot 2.1.5 配置JPA多数据源

最近在学springboot,照着网上博客想试着配一下Jpa的多数据源,但发现因为springboot版本太高的问题,网上的demo都不适用,导致找了很久才找到解决办法。现在把操作过程记录如下。 一、yml配...

陈年之后是青葱
29分钟前
5
0
Scala基础 - 下划线使用指南

下划线这个符号几乎贯穿了任何一本Scala编程书籍,并且在不同的场景下具有不同的含义,绕晕了不少初学者。正因如此,下划线这个特殊符号无形中增加Scala的入门难度。 1. 用于替换Java的等价语...

细肉云吞
39分钟前
0
0
初始化一个vue项目

vue init webpack ”项目名称“ 第一步安装node 第二步项目初始化 1.安装vue-cli cnpm install vue-cli -g //全局安装 vue-cli 2、创建文件夹 3、在文件夹下执行 vue init webpack ”...

cupid_ly
59分钟前
1
0
Leetcode PHP题解--D106 997. Find the Town Judge

D106 997. Find the Town Judge 题目链接 997. Find the Town Judge 题目分析 给定一个数组N代表人数,和给定一个数组,每个元素为一个只有两个值(a,b)的数组。 代表a信任b。 从中找到一个b...

skys215
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部