文档章节

CDH5.7整合安装kafka0.9.0

JPblog
 JPblog
发布于 2016/09/18 17:31
字数 271
阅读 641
收藏 1

1. 准备安装包

csd包:

        http://archive.cloudera.com/csds/kafka/

        KAFKA-1.2.0.jar

parcel包:

        http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载 )

        KAFKA-2.0.2-1.2.0.2.p0.5-wheezy.parcel

        KAFKA-2.0.2-1.2.0.2.p0.5-wheezy.parcel.sha

        manifest.json

2. CDH集成Kafka

        2.1 将原来Kafka的在CDH中删除

        2.2、csd包放到cm安装节点下的 /opt/cloudera/csd目录下

                cp KAFKA-1.2.0.jar /opt/cloudera/csd/

        2.3、将parcel包放到cm安装节点下的/opt/cloudera/parcel-repo目录下

                cp KAFKA-2.0.2-1.2.0.2.p0.5-wheezy.parcel /opt/cloudera/parcel-repo/

                cp KAFKA-2.0.2-1.2.0.2.p0.5-wheezy.parcel.sha /opt/cloudera/parcel-repo/

        2.4、使用manifest.json中对应的部分,添加到/opt/cloudera/parcel-repomanifest.json中

                vi /opt/cloudera/parcel-repo/manifest.json

                添加

	{
            "parcelName": "KAFKA-2.0.2-1.2.0.2.p0.5-wheezy.parcel",
            "components": [
                {
                    "pkg_version": "0.9.0+kafka2.0.2",
                    "pkg_release": "1.2.0.2.p0.5",
                    "name": "kafka",
                    "version": "0.9.0-kafka2.0.2"
                }
            ],
            "depends": "CDH (>= 5.2), CDH (<< 6.0)",
            "replaces": "CLABS_KAFKA",
            "hash": "8756ae832d388880a8f8c38b6569f461996c84bc"
        }

        2.5、启Cloudera Manager检查更新parcel,分配并激活percel包

                注意此处一定要激活才能使用:

                CM主页 -> Hosts -> parcel -> 检查新parcel -> 配置 -> 激活

3.安装kafka

如果启动时出现内存溢出错误(java.lang.OutOfMemoryError: Java heap space

        主页服务列表 -> kafka -> 配置 -> Kafka-Broker -> Java Heap Size of Broker

        修改参数到256以上即可

© 著作权归作者所有

共有 人打赏支持
JPblog
粉丝 14
博文 64
码字总数 40732
作品 0
朝阳
程序员
私信 提问
CDH 5.9 之 Kylin 安装 (SuSE Linux Enterprise 12 SP1)

前言 Kylin的官网上,关于安装部分,只有寥寥数语,但是很多人在安装Kylin的时候,都遇到各种问题。那么这个到底是什么情况呢?原因很简单:Kylin的check-env.sh,有点弱。很多时候,用户在安...

pearma
2016/12/28
425
13
apache-kylin-1.6.0-cdh5.7-bin的启动脚本时候,报JAVA_HOME 找不到

./bin/check-env.sh KYLIN_HOME is set to /opt/apache-kylin-1.6.0-cdh5.7-bin Error: JAVA_HOME is not set and could not be found....

chunshui
2017/04/11
38
1
Java Spark代码报错:java.lang.NoSuchMethodError:net.jpountz.lz4.LZ4BlockInputStream

问题描述   今天在做项目过程中,在使用java语言创建DataFrame在窗口打印数据,编译时总是报错,通过查阅资料最终问题得到解决。记录如下:开发环境为spark2.3 + kafka0.9.0。编辑软件使用...

彭三青
2018/12/24
0
0
快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7) 分享下载地址——https://pan.baidu.com/s/1jHVvIAi 密码: sirk 本课程从基础开始,紧抓重点、言简意赅、深入浅出的讲解Spark...

羞答答的
2017/10/17
0
0
【Apache kylin】cube创建成功后查询事实表问题

运行kylin自带的例子后,查询事实表(kylin_sales)出现这样的问题,但是查询两张维表就没事。自己创建的也是这个问题。 环境配置:Hadoop 2.6.0-cdh5.6.0 HBase 1.0.0-cdh5.6.0 hive-1.1.0...

曼曼人生
2017/05/03
268
3

没有更多内容

加载失败,请刷新页面

加载更多

4.57 MariaDB慢查询日志 4.58 Tomcat_JDK部署 4.59 zrlog安装 4.60 Nginx代理Tomcat

4.57 MariaDB慢查询日志 为什么要配置慢查询日志? 目的是为了帮助我们分析MariaDB的瓶颈点。 如何配置? 1)进入MariaDB里面执行:show variables like 'slow%';show variables li...

Champin
今天
3
0
自动机器学习简述(AutoML)

为什么需要自动机器学习 对于机器学习的新用户而言,使用机器学习算法的一个主要的障碍就是算法的性能受许多的设计决策影响。随着深度学习的流行,工程师需要选择相应的神经网络架构,训练过...

naughty
今天
2
0
Android Studio Unable to resolve dependency for错误的排查

记录一次Android Studio Unable to resolve dependency for错误的排查 Android Studio 3.2.1 错误提示 Unable to resolve dependency for... 原因:在gradle中设置的代理并没有gradle 4.6的版......

Gemini-Lin
今天
0
0
java常用设计模式

设计模式; 一个程序员对设计模式的理解: “不懂”为什么要把很简单的东西搞得那么复杂。后来随着软件开发经验的增加才开始明白我所看到的“复杂”恰恰就是设计模式的精髓所在,我所理解的“...

呵呵哒灬
今天
5
0
Kafka入门

1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: 我们想分析下用户行为(pageviews),以便我们设计出更好的广告位 我想对用户的搜索关键词...

watermelon11
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部