文档章节

Kafka Manager

China_OS
 China_OS
发布于 2017/08/30 14:03
字数 932
阅读 108
收藏 0
点赞 0
评论 0

        kafka manager作为一款在kafka出世不久就被贡献出来的开源kakfa管理软件,相信使用者不在少数,不过这款软件更新总是有点慢,而且缺少安全认证模块,不过鉴于很多中小公司没人力自研kafka管理平台,这款软件还是可以凑合使用的。由于之前公司的kafka早已升级至0.10.0版本,而早起的kafka manager还不支持0.10.0版本,所以只能凑活使用,在kafka manager支持0.10.0版本后,立即更新了kafka manager,本文就是kafka manager的编译安装过程(支持0.10+)。

下载

cd /opt/programs
git clone https://github.com/yahoo/kafka-manager.git

设置环境

    kafka manager依赖java8,如果系统中存在多个java版本的话,先设置环境变量,部署本机的java home在/opt/programs/jdk1.8.0_77

export JAVA_HOME=/opt/programs/jdk1.8.0_77
export PATH=$JAVA_HOME/bin:$PATH

编译

cd /opt/programs/kafka-manager
./sbt rpm:packageBin

    ps:这是一个漫长的过程,因为sbt要越过GFW去拉取相关依赖库,不过可以设置sbt配置,采用国内的源,最终结果如下:

[info] Loading project definition from /opt/programs/kafka-manager/project
Missing bintray credentials /root/.bintray/.credentials. Some bintray features depend on this.
[info] Set current project to kafka-manager (in build file:/opt/programs/kafka-manager/)
Missing bintray credentials /root/.bintray/.credentials. Some bintray features depend on this.
SLF4J: Class path contains multiple SLF4J bindings.
SLF4J: Found binding in [jar:file:/root/.ivy2/cache/org.slf4j/slf4j-nop/jars/slf4j-nop-1.7.7.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: Found binding in [jar:file:/root/.ivy2/cache/org.slf4j/slf4j-simple/jars/slf4j-simple-1.7.12.jar!/org/slf4j/impl/StaticLoggerBinder.class]
SLF4J: See http://www.slf4j.org/codes.html#multiple_bindings for an explanation.
SLF4J: Actual binding is of type [org.slf4j.helpers.NOPLoggerFactory]
[warn] Credentials file /root/.bintray/.credentials does not exist
[info] Wrote /opt/programs/kafka-manager/target/scala-2.11/kafka-manager_2.11-1.3.3.13.pom
Warning: node.js detection failed, sbt will use the Rhino based Trireme JavaScript engine instead to run JavaScript assets compilation, which in some cases may be orders of magnitude slower than using node.js.
[info] Packaging /opt/programs/kafka-manager/target/scala-2.11/kafka-manager_2.11-1.3.3.13-web-assets.jar ...
[info] Done packaging.
[info] Building target platforms: noarch-yahoo-Linux
[info] Building for target noarch-yahoo-Linux
[info] Executing(%install): /bin/sh -e /tmp/sbt_cb7f4bde/rpm-tmp.biBqG2
[error] + umask 022
[error] + cd /opt/programs/kafka-manager/target/rpm/BUILD
[error] + '[' /opt/programs/kafka-manager/target/rpm/buildroot '!=' / ']'
[error] + rm -rf /opt/programs/kafka-manager/target/rpm/buildroot
[error] ++ dirname /opt/programs/kafka-manager/target/rpm/buildroot
[error] + mkdir -p /opt/programs/kafka-manager/target/rpm
[error] + mkdir /opt/programs/kafka-manager/target/rpm/buildroot
[error] + LANG=C
[error] + export LANG
[error] + unset DISPLAY
[error] + '[' -e /opt/programs/kafka-manager/target/rpm/buildroot ']'
[error] + mv /opt/programs/kafka-manager/target/rpm/tmp-buildroot/etc /opt/programs/kafka-manager/target/rpm/tmp-buildroot/usr /opt/programs/kafka-manager/target/rpm/tmp-buildroot/var /opt/programs/kafka-manager/target/rpm/buildroot
[error] + /usr/lib/rpm/check-buildroot
[error] + /usr/lib/rpm/brp-compress
[error] + /usr/lib/rpm/brp-strip /usr/bin/strip
[error] + /usr/lib/rpm/brp-strip-static-archive /usr/bin/strip
[error] + /usr/lib/rpm/brp-strip-comment-note /usr/bin/strip /usr/bin/objdump
[info] Processing files: kafka-manager-1.3.3.13-1.noarch
[info] Provides: config(kafka-manager) = 1.3.3.13-1
[info] Requires(interp): /bin/sh /bin/sh /bin/sh /bin/sh
[info] Requires(rpmlib): rpmlib(CompressedFileNames) <= 3.0.4-1 rpmlib(FileDigests) <= 4.6.0-1 rpmlib(PayloadFilesHavePrefix) <= 4.0-1
[info] Requires(pre): /bin/sh
[info] Requires(post): /bin/sh
[info] Requires(preun): /bin/sh
[info] Requires(postun): /bin/sh
[info] Checking for unpackaged file(s): /usr/lib/rpm/check-files /opt/programs/kafka-manager/target/rpm/buildroot
[info] Wrote: /opt/programs/kafka-manager/target/rpm/RPMS/noarch/kafka-manager-1.3.3.13-1.noarch.rpm
[info] Executing(%clean): /bin/sh -e /tmp/sbt_cb7f4bde/rpm-tmp.3qbHaE
[error] + umask 022
[error] + cd /opt/programs/kafka-manager/target/rpm/BUILD
[error] + /bin/rm -rf /opt/programs/kafka-manager/target/rpm/buildroot
[error] + exit 0
[success] Total time: 26 s, completed Aug 29, 2017 8:14:00 PM

    ps:编译好的rpm包在/opt/programs/kafka-manager/target/rpm/RPMS/noarch目录下(kafka-manager-1.3.3.13-1.noarch.rpm),把编译好的包上传到安装远程机器上。

部署

rpm -Uvh kafka-manager-1.3.3.13-1.noarch.rpm

    ps:因为本机上之前就有kafka manager的rpm包,不过版本较老,本次采用rpm升级命令。

调整配置

    创建etc配置目录

cd /etc
ln -s /usr/share/kafka-manager/conf kafka-manager

    修改kafka manager配置(/etc/kafka-manager/application.conf)

#Your kafka zk address
kafka-manager.zkhosts="ip:port,ip:port,ip:port"

    修改/etc/init.d/kafka-manager启动脚本

# add JAVA_HOME
export JAVA_HOME=/opt/programs/jdk1.8.0_77

    修改/etc/default/kafka-manager

# Setting JAVA_OPTS
# -----------------
JAVA_OPTS="-Dpidfile.path=/tmp/kafka-manager/kafka-manager.pid -Dconfig.file=/etc/kafka-manager/application.conf -Dlogger.file=/etc/kafka-manager/logger.xml $JAVA_OPTS -Dhttp.port=8000 -Dhttp.host=10.205.8.176"

# Setting PIDFILE
# ---------------
PIDFILE="/tmp/kafka-manager/kafka-manager.pid"

    创建临时目录

mkdir -p /tmp/kafka-manager
chown kafka-manager:kafka-manager /tmp/kafka-manager

    启动

/etc/init.d/kafka-manager start

查看

 

 

© 著作权归作者所有

共有 人打赏支持
China_OS
粉丝 400
博文 383
码字总数 483581
作品 0
徐汇
技术主管
kafka-manager安装与使用

kafka-manager安装与使用 www.blogways.net2018-01-071 阅读 安装kafka 目 录 1 kafka manager简介 2 kafka manager安装 3 kafka manager使用 一、kafka manager简介 为了简化开发者和服务工...

www.blogways.net ⋅ 01/07 ⋅ 0

使用Kafka Manager管理Kafka集群

公司使用到了Kafka,想借助一套可视化的工具更好地管理Kafka。笔者将目光瞄准了Kafka Manager。 安装Kafka 一、下载Kafka 前往http://kafka.apache.org/downloads ,根据自己的需要,下载合适...

周立_itmuch ⋅ 2017/10/20 ⋅ 0

【Kafka】Kafka Manager 安装

https://github.com/yahoo/kafka-manager 编译环境:需要SBT和Java 8+ ,编译完成了后的zip包,运行只需要java 8+环境就好了,不需要SBT。 一、安装SBT和Java 8+ 二、下载编译kafka manager 三...

HarryWu ⋅ 2016/05/12 ⋅ 0

Kafka集群及监控安装指南

kafka官网:http://kafka.apache.org/ 官方文档:http://kafka.apache.org/documentation.html#quickstart kafka集群安装 下载: kafka2.10-0.8.2.0.tar.gz 解压: tar -zxvf kafka2.10-0.8.......

zyqJustin ⋅ 2016/04/16 ⋅ 0

kafka开源管理工具Kafka-manager部署

  简介      Kafka-manager是雅虎开源的apache-kafka管理工具,是用Scala写,所以在web页面进行操作即可。   Githubhttps://github.com/yahoo/kafka-manager   主要特性:   1. ...

linux运维菜 ⋅ 04/19 ⋅ 0

kafka manger 安装

0-项目介绍 Kafka在雅虎内部被很多团队使用,媒体团队用它做实时分析流水线,可以处理高达20Gbps(压缩数据)的峰值带宽。 为了简化开发者和服务工程师维护Kafka集群的工作,构建了一个叫做Kafka...

杨春炼 ⋅ 2016/06/23 ⋅ 0

Kafka集群配置,以及集群管理工具Kafka Manager的安装

我们使用如下三台机器搭建Kafka集群,此文档在我们已经安装了zookeeper集群的前提下有效,文章中zookeeper全部使用zk缩写表示 192.168.1.96 192.168.1.45 192.168.1.34 下面操作在不说明的情况...

稻草鸟人 ⋅ 2016/04/26 ⋅ 4

Ubuntu16.04安装Kafka集群

下载 http://kafka.apache.org/downloads.html http://mirror.bit.edu.cn/apache/kafka/0.11.0.0/kafka_2.11-0.11.0.0.tgz root@master:/usr/local/kafka_2.11-0.11.0.0/config# vim server.......

OpenStack2015 ⋅ 2017/09/20 ⋅ 0

KAFKA-MANAGER安装

参考文档:https://github.com/yahoo/kafka-manager 一、下载源码 下载链接: https://github.com/yahoo/kafka-manager/releases 下载源码到/opt目录 ls /optkafka-manager-master 二、修改配......

曾哥最爱 ⋅ 2017/12/12 ⋅ 0

基于Docker搭建分布式消息队列Kafka

本文基于Docker搭建一套单节点的Kafka消息队列,Kafka依赖Zookeeper为其管理集群信息,虽然本例不涉及集群,但是该有的组件都还是会有,典型的kafka分布式架构如下图所示。本例搭建的示例包含...

半夜菊花茶 ⋅ 2017/11/23 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

zblog2.3版本的asp系统是否可以超越卢松松博客的流量[图]

最近访问zblog官网,发现zlbog-asp2.3版本已经进入测试阶段了,虽然正式版还没有发布,想必也不久了。那么作为aps纵横江湖十多年的今天,blog2.2版本应该已经成熟了,为什么还要发布这个2.3...

原创小博客 ⋅ 今天 ⋅ 0

聊聊spring cloud的HystrixCircuitBreakerConfiguration

序 本文主要研究一下spring cloud的HystrixCircuitBreakerConfiguration HystrixCircuitBreakerConfiguration spring-cloud-netflix-core-2.0.0.RELEASE-sources.jar!/org/springframework/......

go4it ⋅ 今天 ⋅ 0

二分查找

二分查找,也称折半查找、二分搜索,是一种在有序数组中查找某一特定元素的搜索算法。搜素过程从数组的中间元素开始,如果中间元素正好是要查找的元素,则搜素过程结束;如果某一特定元素大于...

人觉非常君 ⋅ 今天 ⋅ 0

VS中使用X64汇编

需要注意的是,在X86项目中,可以使用__asm{}来嵌入汇编代码,但是在X64项目中,再也不能使用__asm{}来编写嵌入式汇编程序了,必须使用专门的.asm汇编文件来编写相应的汇编代码,然后在其它地...

simpower ⋅ 今天 ⋅ 0

ThreadPoolExecutor

ThreadPoolExecutor public ThreadPoolExecutor(int corePoolSize, int maximumPoolSize, long keepAliveTime, ......

4rnold ⋅ 昨天 ⋅ 0

Java正无穷大、负无穷大以及NaN

问题来源:用Java代码写了一个计算公式,包含除法和对数和取反,在页面上出现了-infinity,不知道这是什么问题,网上找答案才明白意思是负的无穷大。 思考:为什么会出现这种情况呢?这是哪里...

young_chen ⋅ 昨天 ⋅ 0

前台对中文编码,后台解码

前台:encodeURI(sbzt) 后台:String param = URLDecoder.decode(sbzt,"UTF-8");

west_coast ⋅ 昨天 ⋅ 0

实验楼—MySQL基础课程-挑战3实验报告

按照文档要求创建数据库 sudo sercice mysql startwget http://labfile.oss.aliyuncs.com/courses/9/createdb2.sqlvim /home/shiyanlou/createdb2.sql#查看下数据库代码 代码创建了grade......

zhangjin7 ⋅ 昨天 ⋅ 0

一起读书《深入浅出nodejs》-node模块机制

node 模块机制 前言 说到node,就不免得提到JavaScript。JavaScript自诞生以来,经历了工具类库、组件库、前端框架、前端应用的变迁。通过无数开发人员的努力,JavaScript不断被类聚和抽象,...

小草先森 ⋅ 昨天 ⋅ 0

Java桌球小游戏

其实算不上一个游戏,就是两张图片,不停的重画,改变ball图片的位置。一个左右直线碰撞的,一个有角度碰撞的。 左右直线碰撞 package com.bjsxt.test;import javax.swing.*;import j...

森林之下 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部