文档章节

Hadoop - 企业级大数据管理平台CDH(安装cloudera-manager)

喵了_个咪
 喵了_个咪
发布于 2018/08/18 23:55
字数 1119
阅读 258
收藏 7

准备工作已经完成,接下来我们就要正式的开始在我们服务器集群上搭建CDH

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 安装MYSQL

无论是Hadoop相关组件还是cm本身都需要使用到数据库,cm默认会使用内嵌数据库,但是这种方式并不推荐在生产环节使用

(阿里云RDS是无法支持create table xxx select *from xxx的操作不能吧CM数据库放到)

在生产环境尽量使用外部数据库,不要使用CM自带数据库
这里使用oneinstack进行安装可以去官网选择你要的组件一条命令搞定

wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz && tar xzf oneinstack-full.tar.gz && ./oneinstack/install.sh --db_option 2 --dbinstallmethod 1 --dbrootpwd Sunmi388

其他服务器上都可以跑一下空的安装指令进行软件更新和基础依赖的安装(全部N即可)

wget http://mirrors.linuxeye.com/oneinstack-full.tar.gz && tar xzf oneinstack-full.tar.gz && ./oneinstack/install.sh

PS:如果大家没有使用oneinstack那么需要自主安装ntp来保证服务器直接的时间的一致性

二, JDK安装

卸载系统自带JDK

rpm -qa |grep java   #如果有就卸载。没有就不用执行下面
yum remove java*   #删除自带的java

在CM上解压SDK配置环境变量

cd /app/install
tar -zxvf jdk-8u101-linux-x64.tar.gz 
mv jdk1.8.0_101/ /usr/local/jdk1.8
# 拷贝到其他节点
scp -r /usr/local/jdk1.8 master-1:/usr/local/
scp -r /usr/local/jdk1.8 master-2:/usr/local/
scp -r /usr/local/jdk1.8 slave-1:/usr/local/
scp -r /usr/local/jdk1.8 slave-2:/usr/local/
scp -r /usr/local/jdk1.8 slave-3:/usr/local/

所有节点都进行环境变量配置

vim /etc/profile

# java
export JAVA_HOME=/usr/local/jdk1.8
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

source /etc/profile

查看JAVA安装是否成功:

[root@cm install]# java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

三, CM安装

安装基本包

每台服务器上安装CM所需要的第三方依赖包

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse portmap fuse-libs redhat-lsb

在cm服务器上解压CM

mkdir -p /usr/local/cloudera-manager
tar zxf /app/install/cloudera-manager-centos7-cm5.15.0_x86_64.tar.gz -C /usr/local/cloudera-manager/

修改CM的配置文件,agent从节点配置文件指定CM的主节点server的通讯地址

vim /usr/local/cloudera-manager/cm-5.15.0/etc/cloudera-scm-agent/config.ini

[General]
# Hostname of the CM server.
server_host=cm

将CM的安装目录拷贝给集群的其他节点

scp -r /usr/local/cloudera-manager/ master-1:/usr/local/
scp -r /usr/local/cloudera-manager/ master-2:/usr/local/
scp -r /usr/local/cloudera-manager/ slave-1:/usr/local/
scp -r /usr/local/cloudera-manager/ slave-2:/usr/local/
scp -r /usr/local/cloudera-manager/ slave-3:/usr/local/

初始化数据库

配置CM访问mysql的权限并初始化在mysql中的状态

mysql -u root -p
mysql> grant all privileges on *.* to 'root'@'%' identified by 'Sunmi388' with grant option;
mysql> flush privileges;

CM要使用mysql作为数据源的话需要对应的驱动包(最易每个节点都需要增加这个JAR包)

mkdir /usr/share/java/
cd /usr/share/java/
wget http://pic.w-blog.cn/mysql-connector-java.jar
/usr/local/cloudera-manager/cm-5.15.0/share/cmf/schema/scm_prepare_database.sh mysql -h cm -uroot -pSunmi388 --scm-host % scm scm scm --force

配置CDH源parcel包

在cm上执行

mkdir -p /opt/cloudera/parcel-repo

在全部节点执行

mkdir -p /opt/cloudera/parcel

将parcel包文件移动到cm节点的parcel-repo目录下

cp /app/install/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel* /opt/cloudera/parcel-repo

修改校验码文件的后缀

mv /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

启动CM

cm执行:

/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start

查看cm是否启动

默认web页面会在cm服务器上开发7180端口

[root@cm init.d]# netstat -nltp|grep 7180
tcp        0      0 0.0.0.0:7180            0.0.0.0:*               LISTEN      7333/java     

等CM启动完成之后才在所有节点执行(不然agent会挂掉):

/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start
# 查看agent是否启动成功,如果未启动成功需要再次启动
ps -ef | grep agent

访问CM的web⻚⾯http://xxxxxxxxx.com:7180(由于CM Server的启动需要花点时间,这⾥可能要等待⼀会才能访问),默认的⽤户名和密码均为admin

接受条约

选择版本

我们可以看到CDH中的软件列表

到这里cm-service的安装工作就已经算结束了

© 著作权归作者所有

喵了_个咪
粉丝 338
博文 167
码字总数 215666
作品 4
杨浦
技术主管
私信 提问
Cloudera CDH 、Hortonworks DHP和MapR比较

目前啊,都知道,大数据集群管理方式分为手工方式(Apache hadoop)和工具方式(Ambari + hdp 和Cloudera Manger + CDH)。   手工部署呢,需配置太多参数,但是,好理解其原理,建议初学这...

hblt-j
2018/08/13
1K
0
Cloudera Apache Hadoop 管理员培训

本次培训将于2017年12月28日至31日在上海举办,Cloudera Apache Hadoop 管理员培训报名平台活动家。 Cloudera 大学为期4 天的Hadoop 管理员培训将帮助学员综合理解并全 面掌握通过Cloudera ...

活动家
2017/10/13
32
0
Hadoop入门扫盲:hadoop发行版介绍与选择

一、hadoop发行版介绍 目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的...

南非蚂蚁
2016/11/03
0
0
北京Cloudera Apache Hadoop 管理员培训

本次培训将于9月18日在北京开班,北京Cloudera Apache Hadoop 管理员培训报名平台活动家。报名猛戳上面“立即报名” Cloudera Apache Hadoop 管理员培训 Cloudera Apache Hadoop 培训及认证帮...

活动家
2017/08/02
24
0
上海Cloudera Apache Hadoop 管理员培训(CCA131)

Cloudera 大学为期4 天的Hadoop 管理员培训将帮助学员综合理解并全 面掌握通过Cloudera Manager对Hadoop机群的运维管理,包括:安装,配置、 负载平衡及性能调优等。通过该培训,Hadoop 系统...

活动家
2017/08/01
15
0

没有更多内容

加载失败,请刷新页面

加载更多

还为PDF转Word抓狂?以下神器让你在职场倍受欢迎!

身在职场的你,是否一直在琢磨:如何能让自己在公司更受欢迎?如何才能在办公室里混个好人缘?如何在同事圈里留个好印象?其实,想要让自己成为受欢迎的人,只要让自己成为大家需要的人不就行...

foxit2world
12分钟前
6
0
AndServer+Service打造Android服务器实现so文件调用

so 文件调用 随着 Android 移动安全的高速发展,不管是为了执行效率还是程序的安全性等,关键代码下沉 native 层已成为基本操作。 native 层的开发就是通指的 JNI/NDK 开发,通过 JNI 可以实...

夜幕NightTeam
13分钟前
3
0
Docker下kafka学习三部曲之二:本地环境搭建

在上一章《 Docker下kafka学习,三部曲之一:极速体验kafka》中我们快速体验了kafka的消息分发和订阅功能,但是对环境搭建的印象仅仅是执行了几个命令和脚本,本章我们通过实战来学习如何编写...

程序员欣宸
14分钟前
4
0
萌新推荐!不再为Excel转换PDF发愁,Aspose.Cells for .NET一步到位!

Aspose.Cells for .NET(点击下载)是Excel电子表格编程API,可加快电子表格管理和处理任务,支持构建具有生成,修改,转换,呈现和打印电子表格功能的跨平台应用程序。 将Excel工作簿转换为...

mnrssj
15分钟前
6
0
对于绘画小白怎么画制服?该注意什么?

怎样制作学生服装?想必绘画初学者们常常会想的问题吧,不知道怎样才能画好人物的衣服,别着急,今日就在这儿讲一些关于如何绘画学生衣服校服的教程给我们!期望能够帮到你们! 轻便西装是不...

热爱画画的我
20分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部