文档章节

如何在已有CM集群环境中添加kafka组件

闪电
 闪电
发布于 2017/01/16 19:43
字数 578
阅读 55
收藏 0

参考

kafka升级
CDH5与CM5环境搭建

场景

怎么局部升级当前cm集群呢,比如添加kafka组件、spark组件等

分析

一、升级原因

1、 现有集群组件只能做一些离线类统计分析,无法满足当前实时类业务计算的需求。
2、 现有集群计算引擎是基于MR2,计算能力相对较弱。

综合以上因素,决定在已有的集群组件中添加 : flume、kafka 与 spark 组件,以期提升集群的计算能力,满足当前实时计算的业务需求。

二、升级过程

1 、spark组件的添加

在集群的每个节点上安装 spark 组件,以YARN模式管理计算资源

1.1 在 CM主页选择添加服务

这里写图片描述

1.2 添加spark组件

这里写图片描述

1.3 选择要安装spark服务的节点

这里写图片描述

1.4 安装完毕

这里写图片描述

2、 kafka组件的添加

kafka组件的安装,可分为在线与离线安装,这里采用在线安装的方式进行,具体安装步骤如下:

2.1 进入 Parcel 主页

这里写图片描述

2.2 与 2.3 进入 Parcel配置界面

这里写图片描述
这里写图片描述

2.4 在Parcel主界面点击 ‘检查更新Parcel’

这里写图片描述

2.5 激活 kafka 组件

这里写图片描述

2.6 在CM主页添加 kafka服务

这里写图片描述

2.7 选择需要安装kafka组件的集群节点 ,相关配置都选择默认的

这里写图片描述

2.8 启动 kafka 集群

这里写图片描述

注意: 启动kafka集群的时候,可能出现如下异常 :

这里写图片描述

在CM 界面中查看 broker的异常日志后,发现:OutofMemeryException

这是因为 Java Heap size of Broker这个选项默认配置是 50M ,需要将其修改成 256M 或者 更多,这里修改成 1G ,保存配置后,在启动kafka集群即可:

这里写图片描述

三、升级后的集群组件配置状况

     生产环境 5 台 32核 256G ,处理一般复杂度的spark作业,能处理的最大数据规模是多大呢? 这个没法量化,以后遇到具体性能问题,再具体分析、优化。
以往的经验:5台8核16G的集群资源,编写一般复杂度的spark作业,处理 10G(大概一亿行数据量)级别的数据量,处理时间是 10分钟级别。

总结

开启集群资源管理之路,漫长啊 。。。

本文转载自:http://blog.csdn.net/pengych_321/article/details/52539932

闪电
粉丝 75
博文 392
码字总数 6789
作品 0
海淀
技术主管
私信 提问
CDH 5 安装教程,Kafka 安装,LZO 安装

目 录 主机列表 基础环境 集群主机基础配置 配置 NTP 服务 配置 MySQL 服务器 安装 Cloudera Manager Server 和 AgentServer 安装 CDH 安装 Kafka 组件 配置 HDFS LZO 压缩 主机列表 |主机名...

yangji008
2017/09/03
0
0
如何在CDH中安装Kudu&Spark2&Kafka

1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用C...

hblt-j
2018/09/04
117
1
CDH5.7整合安装kafka0.9.0

准备安装包 csd包: http://archive.cloudera.com/csds/kafka/ KAFKA-1.2.0.jar parcel包: http://archive.cloudera.com/kafka/parcels/latest/ (根据自己的集群的系统版本下载 ) KAFKA-......

JPblog
2016/09/18
910
0
0030-如何在CDH中安装Kudu&Spark2&Kafka

1.概述 在CDH的默认安装包中,是不包含Kafka,Kudu和Spark2的,需要单独下载特定的Parcel包才能安装相应服务。本文档主要描述在离线环境下,在CentOS6.5操作系统上基于CDH5.12.1集群,使用C...

Hadoop实操
2018/11/20
18
0
超人学院第九期大数据高薪就业班招生了

超人学院第九期 大数据高薪就业班招生了 超人学院第九期大数据高薪就业班开始招生了,课程加量不加价,还设有奖学金。亲,还等什么呢,赶快来报名吧!! 我们来看看课程具体内容 课程主题 课...

超人学院
2015/07/23
142
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
397
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
3
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部