文档章节

Hadoop - 企业级大数据管理平台CDH(安装Hadoop组件)

喵了_个咪
 喵了_个咪
发布于 08/23 09:30
字数 533
阅读 403
收藏 8

当我们已经把cm-service和cm-agent安装完成之后,接下来我们就要到最重要的部分了,安装Hadoop组件

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 主机agent安装配置

接着上篇文章的页面点击下一步:

填入主机的名称或在已托管主机选择一下主机

cm
master-1
master-2
slave-1
slave-2
slave-3

下一步选择我们之前下载好的parcel

等待系统自动分发

完成之后在进行下一步

检查集群正确性

以上的几个提示不解决也可以,为了美观我们还是处理掉上面的问题

用户和用户组

useradd cloudera-scm

swappiness

echo 10 > /proc/sys/vm/swappiness

透明页面

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

点击页面头部的重新运行,我们就得到一个干净的主机检查了

二, 大数据组件安装

主要组件分布

cm           cloudManageService   oozie  HUE
master-1     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore  
master-2     Zookeeper  NameNode  HbaseMaster  YARN  HiveMetastore 
slave-1      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-2      Zookeeper  DataNode  HbaseRegion  NodeManger
slave-3      Zookeeper  DataNode  HbaseRegion  NodeManger

选择创建集群:

勾选我们需要的组件

对组件中的各个实例修改安装的主机实例

PS:如果大家发现安装完成之后有组件挂掉,并且不能解决可以尝试减少安装的组件数量,比如oozie和hue可以在后面安装,先安装好核心组件

数据库配置(先去MYSQL创建好对应的数据库)

配置修改(先使用默认配置)

开始安装运行组件

愉快的开始使用了

三 , HUE load balancer 启动失败问题解决

需要先安装一下下面两个包之后在重启

yum install httpd mod_ssl

© 著作权归作者所有

共有 人打赏支持
喵了_个咪
粉丝 317
博文 150
码字总数 199180
作品 4
杨浦
技术主管
私信 提问
加载中

评论(1)

我还在等你回家
楼主转发一下
Cloudera CDH 、Hortonworks DHP和MapR比较

目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这...

hblt-j
08/13
0
0
Apache Kylin 首批入驻微软 Azure 镜像市场

2016年9月21日,微软企业技术决策论坛在北京召开。在该论坛上,微软和世纪互联宣布在中国推出认知服务和 Azure 镜像市场,为中国Azure客户和软件开发商搭建起了一站式门户,方便中国Azure客户...

宣屹
2016/09/21
1K
3
什么是hadoop大数据?我又为什么要写这篇文章?

点击链接 https://my.oschina.net/ijj/blog 关注我的博客。学习更多hadoop知识。 这些天,有很多人咨询我大数据相关的一些信息,觉得大数据再未来会是一个朝阳行业,希望能尽早学会、入行,借...

隐姓埋名啊
2017/03/16
494
1
hadoop发行版本之间的区别

Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop的发行版除了有Apache hadoop外cloudera,hortonworks,mapR,华为,DKha...

左手的倒影
09/11
0
0
Hadoop专业解决方案-第一章 大数据和Hadoop生态圈

一、前言:   非常感谢Hadoop专业解决方案群:313702010,兄弟们的大力支持,在此说一声辛苦了,经过两周的努力,已经有啦初步的成果,目前第1章 大数据和Hadoop生态圈小组已经翻译完成,在...

张子良
2014/01/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

mysql密码重置

方法一: 在my.ini的[mysqld]字段加入: skip-grant-tables 重启mysql服务,这时的mysql不需要密码即可登录数据库 然后进入mysql mysql>use mysql; mysql>更新 update user set password=pas...

architect刘源源
5分钟前
0
1
SpringBoot + Mybatis 配置多数据源(Srping boot 二)

前置条件,你已经配置好spring boot+mybatis,可以参考之前的博客 实现逻辑通过注解+aop切面编程来动态更新datasource 第一步,配置多个DataSource server: port: 8080freezing: ...

小海bug
18分钟前
5
0
连续潜在变量---概率PCA

最大似然PCA 用于PCA的EM算法 贝叶斯PCA 因子分解

中国龙-扬科
24分钟前
4
0
Mac 安装redis 及 redis desktop manager

1.安装redis 1.1 下载地址: http://download.redis.io/releases/ 1.2 本地新建个redis文件夹 1.3 切换到redis 安装下:cd /Users/用户名/Documents/redis/redis-3.2.5 1.4 make install 1.5......

qimh
29分钟前
2
0
Caffe(二)-Python-自定义网络

这里我们用一个例子先来体验一下 首先定义一下我们的环境变量 $PYTHONPATH,我这儿是Windows开发环境,至于Windows Caffe怎么编译由读者自己下去搞定 我使用的控制台是 Windows PowerShell 添...

Pulsar-V
今天
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部