文档章节

Kafka 消息监控 - Kafka Eagle

dhlsoft
 dhlsoft
发布于 2017/06/15 10:54
字数 645
阅读 490
收藏 0

1.概述

  Kafka Eagle 用于监控 Kafka 集群中 Topic 被消费的情况。包含 Lag 的产生,Offset 的变动,Partition 的分布,Owner ,Topic 被创建的时间和修改的时间等信息。本文安装的版本是Kafka Eagle 1.1.4(之前试用了一下kafka-offset-monitor 好久没更新了),下载地址如下所示:

2.解压 Kafka Eagle

解压下载的压缩包,如下图所示:

tar -zxvf kafka-eagle-${version}-bin.tar.gz

如果你安装了之前的版本,删除或重命名,如下图所示:

rm -rf kafka-eagle
mv kafka-eagle-${version} kafka-eagle

3.配置 Kafka Eagle profile

vi /etc/profile

export KE_HOME=/data/soft/new/kafka-eagle
export PATH=$PATH:$KE_HOME/bin

或者可以把相关信息写在启动/bin/start.sh之前

4.配置文件列表

cd ${KE_HOME}/conf

您将看到以下配置文件,如下图所示:

conf_files@2x.png

您必须编辑 jdbc.properties 和 system-config.properties

5.配置 MySQL 

创建ke数据库或用已有的库,然后需要将文件夹下的sql/ke.sql导入到数据库中

cd ${KE_HOME}/conf
vi jdbc.properties

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=smartloli

6.配置 Zookeeper 

cd ${KE_HOME}/conf
vi system-config.properties

# multi zookeeper&kafka cluster list -- The client connection address of the Zookeeper cluster is set here
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

# zk limit -- Zookeeper cluster allows the number of clients to connect to
kafka.zk.limit.size=25

# kafka eagel webui port -- WebConsole port access address
kafka.eagel.webui.port=8048

# kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper, you can not use this option
kafka.eagle.offset.storage=kafka

# delete kafka topic token -- Set to delete the topic token, so that administrators can have the right to delete
kafka.eagle.topic.token=keadmin

7.启动 Kafka Eagle

cd ${KE_HOME}/bin
chmod +x ke.sh
./ke.sh start

 

启动后,我们通过在浏览器中输入 http://host:port/ke(http://localhost:8048/ke/),访问 Kafka Eagle 的 Dashboard 页面。该页面包含以下内容:

  • Brokers
  • Topics
  • Zookeepers
  • Consumers
  • Kafka Brokers Graph

  展示 Kafka 集群的 Topic 数量,消费者数量,Kafka 的 Brokers 数,以及所属的 Zookeeper 集群信息。Dashboard 信息展示截图如下:

通过创建模块可以创建一个自定义分区和备份数的 Topic。如下图所示:

List模块下列出 Kafka 集群中所有的 Topic,包含 Topic 的分区数,创建时间以及修改时间,如下图所示:

上图中,每一个 Topic 名称对应一个详情的超链接,通过该链接可以查看该 Topic 的详情,如:分区索引号,Leader,Replicas 和 Isr,如下图所示所示:

其他的大家自己研究吧,Kafka Eagle 的安装使用还是简单的,安装部署文档地址如下:

 

© 著作权归作者所有

dhlsoft
粉丝 1
博文 30
码字总数 24879
作品 0
沈阳
其他
私信 提问
Kafka监控系统Kafka Eagle剖析

1.概述 最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给...

哥不是小萝莉
2018/07/27
0
0
Apache Eagle:分布式实时 Hadoop 数据安全方案

摘要:日前,eBay公司隆重宣布正式向开源业界推出实时分布式Hadoop数据安全方案 - Apache Eagle,作为一套旨在提供高效分布式的流式策略引擎,并集成机器学习对用户行为建立Profile以实时智能...

oschina
2015/10/29
8K
7
Apache 基金会宣布 Apache Eagle 成为顶级项目

2017年1月10日, 由超过350个开源项目及创新计划,全部由开发志愿者,治理志愿者及孵化志愿者组成的Apache软件基金会(ASF),宣布Apache Eagle已经从Apache孵化器项目毕业,正式升级成为顶级...

王练
2017/01/10
5.2K
4
Hadoop 数据安全方案 - Apache Eagle

eBay公司隆重宣布正式向开源业界推出分布式实时安全监控引方案 - Apache Eagle ,该项目已正式加入Apache 称为孵化器项目。Apache Eagle提供一套高效分布式的流式策略引擎,具有高实时、可伸...

haoch
2015/10/28
12.7K
0
sqlplus批量执行脚本日志输出

spool d:eagle2201459init.log; set feedback off; set define off; prompt -----初始化数据 start--- @D :projectsEagleV204Codev2.0eagle2resourcesdatabasefullcoccoc-initialize.sql @D ......

吕兵阳
2014/07/26
4.8K
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部