文档章节

Hadoop - 企业级大数据管理平台CDH(安装Hadoop组件)

喵了_个咪
 喵了_个咪
发布于 08/23 09:30
字数 533
阅读 346
收藏 6

当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 主机agent安装配置

接着上篇文章的页面点击下一步:

填入主机的名称或在已托管主机选择一下主机

cm
master-1
master-2
slave-1
slave-2
slave-3

下一步选择我们之前下载好的parcel

等待系统自动分发

完成之后在进行下一步

检查集群正确性

以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题

用户和用户组

useradd cloudera-scm

swappiness

echo 10 > /proc/sys/vm/swappiness

透明页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

点击页面头部的重新运行,我们就得到一个干净的主机检查了

二, 大数据组件安装

主要组件分布

cm           cloudManageService   oozie  HUE
master-1     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore  
master-2     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore 
slave-1      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-2      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-3      Zookeeper  DataNode  HbaseRegion  NodeManger

选择创建集群:

勾选我们需要的组件

对组件中的各个实例修改安装的主机实例

PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件

数据库配置(先去MYSQL创建好对应的数据库)

配置修改(先使用默认配置)

开始安装运行组件

愉快的开始使用了

三 , HUE load balancer 启动失败问题解决

需要先安装一下下面两个包之后在重启

yum install httpd mod_ssl

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 266
博文 144
码字总数 185422
作品 4
杨浦
技术主管
加载中

评论(1)

我还在等你回家
楼主转发一下
Cloudera CDH 、Hortonworks DHP和MapR比较

目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这...

hblt-j
08/13
0
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在...

张子良
2014/01/21
0
0
hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,华为,DKha...

左手的倒影
09/11
0
0
什么是hadoop大数据?我又为什么要写这篇文章?

点击链接 https://my.oschina.net/ijj/blog 关注我的博客。学习更多hadoop知识。 这些天,有很多人咨询我大数据相关的一些信息,觉得大数据再未来会是一个朝阳行业,希望能尽早学会、入行,借...

隐姓埋名啊
2017/03/16
446
1
(第1篇)什么是hadoop大数据?我又为什么要写这篇文章?

前言 这些天,有很多人咨询我大数据相关的一些信息,觉得大数据再未来会是一个朝阳行业,希望能尽早学会、入行,借这个机会,我决定写一下关于大数据的知识和我这些年的感悟。 点击链接 http...

I加加
2017/03/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Go interface{} to string

package mainimport "fmt"func main() {var a interface{}a = "dsadjaldaldad"var b stringb = a.(string) // 话说,用人话说的话,这叫什么操作?fmt.Println(a, b)}...

taadis
5分钟前
0
0
数据库防火墙

数据库防火墙顾名思义是一款数据(库)安全设备,从防火墙这个词可以看出,其主要作用是做来自于外部的危险隔离。换句话说,数据库防火墙应该在入侵在到达数据库之前将其阻断,至少需要在入侵...

突突突酱
14分钟前
1
0
RDBMS 关系型数据库与 NoSQL 全面比较

随着互联网的不断发展,各种类型的应用层出不穷,所以导致在这个云计算的时代,对技术提出了更多的需求,主要体现在下面这四个方面: 低延迟的读写速度:应用快速地反应能极大地提升用户的满...

PeakFang-BOK
23分钟前
1
0
徒弟做了一个Python的实战小项目——银行系统

国际惯例:实践是检验真理的唯一标准。 众所周知,在编程过程中理论知识再充实也需要通过项目的炼金石。下面给大家看一下我徒弟做的一个小项目实战要求,是做一个银行系统,就是我们去银行办...

无也Python
30分钟前
2
0
vue.js响应式原理解析与实现

从很久之前就已经接触过了angularjs了,当时就已经了解到,angularjs是通过脏检查来实现数据监测以及页面更新渲染。之后,再接触了vue.js,当时也一度很好奇vue.js是如何监测数据更新并且重新...

peakedness丶
48分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部