文档章节

【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

雪饼
 雪饼
发布于 01/10 20:36
字数 2496
阅读 537
收藏 18
点赞 1
评论 0

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。

 

Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过程,使用Cloudera可以快速、简单地部署集群,安装所需要的组件,并可以实现对集群的管理和监控。

Cloudera Manager主要提供了四大功能:(1)对集群进行管理,如添加、删除节点等操作;(2)监控集群的健康情况,对各种指标和系统运行情况进行全面监控;(3)对集群出现的问题进行诊断,并给出建议解决方案;(4)对Hadoop的多组件进行整合、集成。

CDH (Cloudera's Distribution, including Apache Hadoop),是由Cloudera维护的Hadoop分支,基于稳定版本的Apache Hadoop构建的,集成了很多补丁,可直接用于生产环境。

更多详细的介绍,请见 Cloudera 官网

 

在公司内部机房,由于受网络访问控制的原因,服务器无法直接连接互联网在线安装Cloudera Manager 5和CDH5。下面介绍本地离线安装Cloudera Manager 5和CDH5的过程

一、集群概况

节点 IP 主机名 操作系统
管理节点 172.17.0.1 hd1.hdsite CentOS 6.9 x86_64
工作节点 172.17.0.2 hd2.hdsite CentOS 6.9 x86_64
工作节点 172.17.0.3 hd3.hdsite CentOS 6.9 x86_64
工作节点 172.17.0.4 hd4.hdsite CentOS 6.9 x86_64

二、基础环境配置

1、配置主机IP映射关系

vi /etc/hosts

172.17.0.1	hd1.hdsite	hd1
172.17.0.2  hd2.hdsite	hd2
172.17.0.3  hd3.hdsite	hd3
172.17.0.4	hd4.hdsite	hd4

2、关闭防火墙

service iptables stop
chkconfig iptables off

3、关闭SELinux,重启

vi /etc/selinux/config

SELINUX=disabled  # 将SELINUX=enforcing改为SELINUX=disabled

reboot

4、下载安装JDK 1.7,注意CDH5.13.0版本在官网中建议使用JDK1.7,未充分测试过JDK1.8及以上的版本

mkdir /usr/java
cd /usr/java
tar -zxvf jdk-7u75-linux-x64.gz

#在 /etc/profile 中配置环境变量
vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_75
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

5、安装mysql数据库

(1)到MySQL官网打开MySQL 社区版下载页面,然后下载以下的MySQL rpm安装包

(2)MySQL官网有介绍MySQL rpm包的安装方法,一般需要安装 mysql-community-server, mysql-community-client, mysql-community-libs, mysql-community-common, and mysql-community-libs-compat 这些包。在MySQL服务端至少安装 mysql-community-{server,client,common,libs}-* 软件 包,在MySQL客户端至少安装 mysql-community-{client,common,libs}-* 软件包

在安装之前,先查看一下,系统之前是否有安装过mysql相关的包,如果有,则卸载掉,输入指令查询

rpm -qa|grep mysql

接下来,按顺序安装mysql 的 rpm包,由于这几个rpm包有依赖关系,因此,安装时按以下顺序逐个安装

rpm -ivh mysql-community-common-5.7.18-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-5.7.18-1.el6.x86_64.rpm
rpm -ivh mysql-community-libs-compat-5.7.18-1.el6.x86_64.rpm
rpm -ivh mysql-community-client-5.7.18-1.el6.x86_64.rpm
rpm -ivh mysql-community-devel-5.7.18-1.el6.x86_64.rpm
rpm -ivh mysql-community-server-5.7.18-1.el6.x86_64.rpm 

(3)全部安装完成后,则使用 service mysqld start 启动mysql服务,首次启动时,mysql 数据库还会进行初始化,并生成root的初始密码

[root@31d48048cb1e ahadoop]# service mysqld start
Initializing MySQL database:                               [  OK  ]
Installing validate password plugin:                       [  OK  ]
Starting mysqld:                                           [  OK  ]

(4)在日志里面获取root初始密码,使用以下命令

[root@31d48048cb1e ahadoop]# grep 'temporary password' /var/log/mysqld.log
2017-06-23T04:04:40.322567Z 1 [Note] A temporary password is generated for root@localhost: g1hK=pYBo(x9

其中,最后的 g1hK=pYBo(x9 就是初始密码(随机产生的,每次安装不一样的哦)

使用初始密码,登录mysql并修改root密码为 Test.123

mysql -u root -p

mysql> ALTER USER 'root'@'localhost' IDENTIFIED BY 'Test.123';

【注意】MySQL 默认会开启强密码验证(MySQL's validate_password plugin is installed by default),要求密码长度至少8个字符,包含至少1个大写、1个小写、1个数字、1个特殊字符。

(5)修改数据库的字符集,查看默认的字符集

mysql> SHOW VARIABLES like 'character%';

+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | latin1                     |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | latin1                     |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

可以看出,database、server的字符集为latin1,如果后面在建数据库、数据表时,没有指定utf8,输入中文会变成乱码。MySQL 官网有介绍了更改字符集的方法,修改 mysql 的配置文件

vi /etc/my.cnf

# 在 [mysqld] 下面加上这个配置
[mysqld]
character-set-server=utf8

# 如果 client 默认不是 utf8,要改成 utf8 则在 [client] 中加上这个配置
[client]
default-character-set=utf8

更改好配置文件后,保存退出,重启 mysql

service mysqld restart

再查看数据库的字符集,已变成utf8,如下

mysql> SHOW VARIABLES like 'character%';
+--------------------------+----------------------------+
| Variable_name            | Value                      |
+--------------------------+----------------------------+
| character_set_client     | utf8                       |
| character_set_connection | utf8                       |
| character_set_database   | utf8                       |
| character_set_filesystem | binary                     |
| character_set_results    | utf8                       |
| character_set_server     | utf8                       |
| character_set_system     | utf8                       |
| character_sets_dir       | /usr/share/mysql/charsets/ |
+--------------------------+----------------------------+
8 rows in set (0.00 sec)

(6)创建用于存储hive元数据库的数据库、账号密码

使用mysql的root账号进入mysql后,创建数据库和账号

#创建相关的数据库
#hive
create database chivedb;
#activity monitor
create database camondb;

# 建账号
grant all privileges on chivedb.* to 'chadoop'@'localhost' identified by 'Test.123' with grant option;
grant all privileges on chivedb.* to 'chadoop'@'%' identified by 'Test.123' with grant option;
grant all privileges on camondb.* to 'chadoop'@'localhost' identified by 'Test.123' with grant option;
grant all privileges on camondb.* to 'chadoop'@'%' identified by 'Test.123' with grant option;
flush privileges;

三、下载安装包

1、下载 Cloudera Manager 5,下载链接为 http://archive.cloudera.com/cm5/cm/5/   根据本地操作系统(CentOS 6.9)下载 cloudera-manager-el6-cm5.13.0_x86_64.tar.gz
2、下载 CDH安装包,下载链接为 http://archive.cloudera.com/cdh5/parcels/5.13.0/ ,根据本地操作系统(CentOS 6.9)下载以下三个文件(注意:旧版本的CDH4还需要下载IMPALA、Cloudera Search(SOLR),而在CDH5中已将他们整合在一起了)

CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel

CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1

manifest.json

四、安装Cloudera Manager Server和Agent

1、主节点hd1安装Cloudera Manager Server
Cloudera Manager的目录默认位置为/opt,在/opt目录下解压安装文件

cd /opt
tar -zxvf cloudera-manager-el6-cm5.13.0_x86_64.tar.gz

2、初始化Cloudera Manager 5数据库
首先在MySql的官网下载JDBC驱动,下载mysql-connector-java-5.1.45.zip,解压后,找到mysql-connector-java-5.1.45-bin.jar,放到/opt/cm-5.13.0/share/cmf/lib/中

cp mysql-connector-java-5.1.45-bin.jar /opt/cm-5.13.0/share/cmf/lib/

在主节点hd1中初始化CM5的数据库

sh /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pTest.123 scm scm

如果执行出错,报错信息为:java.sql.SQLException: Your password does not satisfy the current policy requirements这是由于MySQL密码复杂度设置的原因,将MySQL的密码复杂度修改为低等级

$ mysql -uroot -p密码

mysql> select @@validate_password_policy;
+----------------------------+
| @@validate_password_policy |
+----------------------------+
| MEDIUM                     |
+----------------------------+
1 row in set (0.00 sec)

mysql> set global validate_password_policy=0;
Query OK, 0 rows affected (0.00 sec)

mysql> exit;
Bye

重新执行初始化CM5的数据库

[root@31d48048cb1e /]# sh /opt/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pTest.123 scm scm
Enter SCM password: 
JAVA_HOME=/usr/java/jdk1.7.0_75
Verifying that we can write to /opt/cm-5.11.1/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cm-5.11.1/etc/cloudera-scm-server
groups: cloudera-scm: No such user
Executing:  /usr/java/jdk1.7.0_75/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.11.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.11.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
2017-08-26 13:17:50,669 [main] INFO  com.cloudera.enterprise.dbutil.DbCommandExecutor  - Successfully connected to database.
All done, your SCM database is configured correctly!

在初始化时要求输入SCM的密码

3、修改Agent的主节点主机

[root@31d48048cb1e /]# vi /opt/cm-5.13.0/etc/cloudera-scm-agent/config.ini 

[General]
# Hostname of the CM server.修改成主节点的主机名
server_host=hd1

# Port that the CM server is listening on.
server_port=7182

## It should not normally be necessary to modify these.
# Port that the CM agent should listen on.
# listening_port=9000

注意,server_host那个配置项前面,不能出现空格,否则会造成cloudera-scm-server能正常启动,但cloudera-scm-agent无法正常启动

4、将Agent文件同步到其它节点

[root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd2:/opt/
[root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd3:/opt/
[root@31d48048cb1e /]# scp -r /opt/cm-5.13.0/ root@hd4:/opt/

5、创建cloudera-scm用户(所有节点)

useradd --system --home=/opt/cm-5.13.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

五、准备CDH5 Parcels文件

将下载的CHD5相关Parcels包放到主节点的/opt/cloudera/parcel-repo/目录中(如无该目录,则手动创建) 

[root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel  /opt/cloudera/parcel-repo/
[root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1  /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha
[root@31d48048cb1e opt]# mv /home/chadoop/CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha  /opt/cloudera/parcel-repo/
[root@31d48048cb1e opt]# mv /home/chadoop/manifest.json /opt/cloudera/parcel-repo/

注意,下载的文件CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha1,要重新命名为CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha,否则在后面安装时,系统会重新下载CDH-5.13.0-1.cdh5.13.0.p0.29-el6.parcel.sha文件

六、启动cloudera-scm-server和cloudera-scm-agent

# hd1 启动服务端
/opt/cm-5.11.1/etc/init.d/cloudera-scm-server start

# hd1,hd2,hd3,hd4 启动Agent服务
/opt/cm-5.11.1/etc/init.d/cloudera-scm-agent start

如果需要停止服务则使用stop参数,重启则是restart参数

七、启动CDH5安装配置页面

在Cloudera Manager Server和Agent都成功启动以后,就可以进入CDH5的安装配置页面了,通过使用浏览器访问主节点的7180端口进入 http://hd1:7180

由于CM Server的启动需要一些时间,可能要等待一会才能访问,默认的用户名和密码均为admin

选择Cloudera Manager版本,这里选择Cloudera Express免费版本

选择主机

安装JDK,由于本地已安装,可点击Continue直接跳过

选择Parcels安装模式,以直接加载本地的CDH5 Parcel文件

配置安装的账号和密码

开始进行安装

安装完成后,然后选择要安装的相关服务(例如HDFS、Yarn、Hive等等),按指导一步一步地安装配置即可,只需要在页面上配置就行,就能轻松部署好一个Hadoop集群,非常地直观、方便

 

至此,Cloudera Manager 5和CDH5(最新版5.13.0)的本地离线安装就已全部完成

 

欢迎关注本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),获取更多资讯

© 著作权归作者所有

共有 人打赏支持
雪饼

雪饼

粉丝 122
博文 38
码字总数 73649
作品 0
广州
Cloudera Manager5及CDH5离线安装说明

关于技术选型 --- http://www.tuicool.com/articles/7RRrie 同时可参考: http://www.doc88.com/p-0042075356791.html 1. 概述 本文概述了在CentOS6环境下,离线安装Cloudera Manager5(以下称...

强子哥哥
2015/10/23
708
0
CDH集群搭建步骤

CDH集群搭建步骤详细文档 一、关于CDH和Cloudera Manager CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hado...

四京
2017/06/13
0
0
Cloudera Manager和CDH安装包下载链接

1.cloudera manager 离线安装的tar包下载地址 http://archive.cloudera.com/cm5/cm/5/ 各种系统需要的cm包都在这里。 2.cloudera的官网地址 https://www.cloudera.com/ 3.cloudera-manager-i......

爱运动的小乌龟
2017/11/02
0
0
Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget ht...

hsbxxl
05/17
0
0
CDH 5 安装教程,Kafka 安装,LZO 安装

目 录 主机列表 基础环境 集群主机基础配置 配置 NTP 服务 配置 MySQL 服务器 安装 Cloudera Manager Server 和 AgentServer 安装 CDH 安装 Kafka 组件 配置 HDFS LZO 压缩 主机列表 |主机名...

yangji008
2017/09/03
0
0
基于Cloudera Manager 5和CDH5(版本5.3.3)的Hadoop集群安装

一、Cloudera Manager/CDH5 1、关于cloudera manager和CDH是什么,这里不做详细介绍了。有官网和百科介绍。 附上官网地址:cloudera manager 2、官网的安装指南 官方文档提供了三种安装方式:...

Mr_陈
2015/04/29
0
0
CDH安装系统环境准备——系统版本和安装包下载地址指南

由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。接下来的日子里,小编将带大...

pengdongcheng
04/23
0
0
cloudera manager & CDH5 安装与升级

一、 准备工作 下载cdh的各种源: 1.下载cloudera manager installer:http://archive-primary.cloudera.com/cm5/installer 2.因为这次要模拟升级安装,首先要先下载beta的源:http://archive-p...

wennan
2014/04/16
0
0
CentOS 离线安装Cloudera Manager 5和CDH5(版本5.1.3) 详细文档

关于CDH和Cloudera Manager CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可...

Zero零_度
2016/05/02
209
0
cloudra安装hadoop集群

http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/ http://www.cnblogs.com/oftenlin/p/4217670.html http://www.jianshu.com/p/57179e03795f 准备工作 以下步骤要在所有节点上执行 ......

泡海椒
2016/04/16
49
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

微服务架构下的安全认证与鉴权

微服务下常见认证解决方案; OAuth认证与授权; JWT认证介绍; Spring Cloud的OAuth2实现; 单体应用转变为分布式应用 单体应用转变为分布式应用在架构方式上存在较大区别,单体应用下的简单...

Java大蜗牛
19分钟前
0
0
前端面试题汇总

最近在复习,准备找工作了,特此总结一下前端的相关知识。 1.获取浏览器URL中查询字符的参数: function getQuery(name){    var reg = new RegExp("(^|&)"+name+"=([^&]*)"(&|$));...

凛冬来袭
20分钟前
0
0
可持续发展的学习道路

与其要求别人,不如提升自己 内心渴望进步 经常做出改变现有模式,不断学习 寻找资源,整合资源,不断熟练这种模式 渠道很重要 先打开新世界的航路

狮子狗
24分钟前
0
0
apollox-lua开源项目 示例codepen2

今天在示例上增加了几个功能, 首先添加js array的标准库。 所有js array的方法目前都支持了。 添加查看code模式。 点击查看code可以看到生成的lua代码。默认web模式需要把标准库连接进来, ...

钟元OSS
40分钟前
0
0
javascript性能优化之避免重复工作

javascript最重要也最根本的性能优化标准之一是避免工作,避免工作又包括两点,第一,不做不必要的工作,第二,不做重复的已经完成的工作。第一部分可以通过代码重构完成,第二部分不做重复的...

老韭菜
51分钟前
0
0
缓存穿透、并发和雪崩那些事

0 题记 缓存穿透、缓存并发和缓存雪崩是常见的由于并发量大而导致的缓存问题,本文讲解其产生原因和解决方案。 缓存穿透通常是由恶意攻击或者无意造成的;缓存并发是由设计不足造成的;缓存雪...

Java填坑之路
54分钟前
1
0
项目jar包管理构建工具---Maven

一、what is Maven? 我们来寻找一下官网,里面介绍了maven到底是什么?下面一句话就有讲解到:Apache Maven is a software project management and comprehension tool. Based on the conc...

一看就喷亏的小猿
今天
0
0
JVM学习手册(一):查看堆内存使用情况以及排错

平时出现内存溢出以及死锁,一般处理方式都是查看日志,找到抛出异常的代码行,然后本地分析代码,但是这样对于线上排查十分糟糕,这段时间在研究JVM发现了几个比较好的工具和指令. 1.针对频繁GC和...

勤奋的蚂蚁
今天
1
0
17.TCP:传输控制协议

介绍 TCP和UDP使用同一网络层(IP),但TCP提供了面向连接、可靠的传输层服务 TCP传输给IP层的信息单位称为报文段或段 TCP通过如下方式保证可靠性: 应用数据被分割成TCP认为最合适发送的数据...

loda0128
今天
0
0
重装Oracle时出现environment variable "PATH"错误的解决办法

在win7 64位下重新安装oracle 11g,一直报environment variable "PATH"的错误,按说明将path里多余的路径删除,但没办法解决。选择忽略错误继续安装,装一半会报CRC错误,还是安装失败。最好...

良言
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部