CDH大数据平台搭建终极版

2020/01/27 16:28
阅读数 64

经过无数次的失败,终于将CDH安装到两台普通的笔记本电脑上,主要失败原因有以下几点:

  1. 不熟悉安装过程,官方给出的安装方法有三种,所以都尝试了一遍,浪费了大量时间,所以有时候方法多不见得是一件好事。
  2. 安装设备太差,有时会因为占用内存或者CPU占用过高而死机。
  3. 安装网络环境太差,导致传输过程可能出现超时失败现象。
  4. 安装时间过久,导致出错后重新再来时间付出太多。

以下讲的方法不是最优的方法,但是是我们最后的方法,可供参考。

1.搭建环境

  • 两台笔记本电脑A和B,自带内存分别为12G和8G,安装VMware 12。

  • A开一个虚拟机,2*CPU,8G内存,使用桥接网卡模式,安装CentOS6.5,充当主机Master。

  • B开两个虚拟机,1*CPU,2G内存,使用桥接网卡模式,安装CentOS6.5,充当分机Slave1,Slave2。

  • 两台电脑通过网线连接到学校内网,使用内网网络环境搭建,三台虚拟机的root密码必须一致。

2.安装前的准备

首先先下载以下安装包

  • cloudera-manager-el6-cm5.8.0_x86_64.tar.gz (Cloudera Manager 安装包,el6代表使用的CentOs6.x,cm-5.8.0代表使用的Cloudera Manager版本为5.8.0)
  • CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel (CDH离线资源包)
  • CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
  • manifest.json
  • cm5.8.0-centos6.tar.gz (里面有一些必要的环境)
  • mysql-connector-java-5.1.6-bin.jar (JDBC)

下载路径分别为

http://archive.cloudera.com/cm5/cm/5/

http://archive.cloudera.com/cdh5/parcels/5.8.0/

http://archive.cloudera.com/cm5/repo-as-tarball/5.8.0/

注意:不要图方便少下什么,或者少安装什么,尤其是JDK一定要安装官方的,要不会导致后面Spark配制出错,这个地方我们起码失败了5、6次,一定要全部下下来,重来的代价会更高

3.安装前的配置

首先进入root权限:输入su,再输入密码即可

3.1.配置主机名

分别修改各节点/etc/sysconfic/network文件,设置主机名为Master,Slave1,Slave2。

找到HOSTNAME可进行修改,名字以方便识别主节点和分节点为标准。

修改完后执行service network restart重启服务。

使用hostname进行验证。

如果没有生效,那就重启虚拟机。

3.2.关闭防火墙

执行命令:service iptables stop

再执行:chkconfig iptables off

使用chkconfig --list|grep iptables检查是否全关

如果为iptables 0:off  1:off 2:off  3:off  4:off 5:off  6:off则说明关完了

3.3.绑定ip与主机名

先查看ifconfig三台虚拟机的ip。

分别在三台虚拟机上打开并更改hosts

vi /etc/hosts

输入如下

192.168.30.21  Master
192.168.30.22  Slave1
192.168.30.23  Slave2

配置完后,3台虚拟机互ping ip和主机名,验证是否配置成功。

3.4.配置ssh免密码登录(默认已安装ssh)

在Master中使用ssh-keygen -t rsa生成秘钥,一路回车.

cd ~/.ssh找到id_rsa.pub,将其写入到authorized_keys中.

输入cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys.

输入ssh Master看看是否已经免秘钥,第一次可能要输密码和输一个yes.

成功后同理在其他两台机子上输入ssh-keygen -t rsa生成秘钥。

将生成的秘钥如果是图形化的界面直接粘贴到Master的authorized_keys中,再由Master使用scp分发给其他两台主机。

如果不是图形化,那就用putty,xshell等等登录虚拟机粘贴,如果没有,那就用scp传。

使用scp将authorized_keys传给slave1和slave2,输入scp ~/.ssh/authorized_keys root@slave1:~/.ssh把slave1改为slave2及传给2。

互相使用ssh hostname登录对方看看是否免秘钥,不行检查authorized_keys是否正确。

3.5.关闭SELINUX

setenforce 0 #临时生效
或
修改/etc/selinux/config 文件的 SELINUX=disabled #重启生效

3.6.安装Mysql(master节点)

首先使用rpm -qa|grep -i mysql检查是否安装了Mysql,如果有

使用rpm -e 包名删除Mysql包。

然后下载MySQL包

http://dev.mysql.com/downloads/mysql/#downloads

我使用的是MySQL-5.5.49-1.linux2.6.x86_64.rpm-bundle.tar这个文件,解压它得到

MySQL-client-5.5.49-1.linux2.6.x86_64.rpm
MySQL-devel-5.5.49-1.linux2.6.x86_64.rpm
MySQL-embedded-5.5.49-1.linux2.6.x86_64.rpm
MySQL-server-5.5.49-1.linux2.6.x86_64.rpm
MySQL-shared-5.5.49-1.linux2.6.x86_64.rpm
MySQL-shared-compat-5.5.49-1.linux2.6.x86_64.rpm
MySQL-test-5.5.49-1.linux2.6.x86_64.rpm

使用rpm -ivh MySQL*全部安装,一个都不能少,要不可能会导致后面报错!

然后使用/usr/bin/mysql_secure_installation 改mysql密码。

输入mysql -u root -p进入mysql。

首先创建用户

CREATE USER 'hive'@'%' IDENTIFIED BY 'hive';
CREATE USER 'hue'@'%' IDENTIFIED BY 'hue';
CREATE USER 'oozie'@'%' IDENTIFIED BY 'oozie';

在创建数据库

CREATE DATABASE hive;
CREATE DATABASE hue;
CREATE DATABASE oozie;

最后赋予各个用户权限

GRANT ALL ON hive.* TO 'hive'@'%' 
GRANT ALL ON hue.* TO 'hue'@'%' 
GRANT ALL ON oozie.* TO 'oozie'@'%' 

3.7.安装JDK

解压cm5.8.0-centos6.tar.gz后打开里面的rpm文件夹,里面应该有一个JDK 1.6和一个 Oracle JDK ,**两个都要安装上。**然后输入java -version应该可以看到

java version "1.6.0_31"
Java(TM) SE Runtime Environment (build 1.6.0_31-b04)
Java HotSpot(TM) 64-Bit Server VM (build 20.6-b01, mixed mode)

3.8.配置NTP服务(所有节点)

安装NTP服务,使用yum install ntp安装

修改ntp配置vi /etc/ntp.conf

Master设置server 210.72.145.44     #这是中国国家授时中心的IP

Slave1~2设置 server master

设置开机时自动运行时间服务 chkconfig ntpd on 启动或停止时间服务

service ntpd start
service ntpd stop
service ntpd restart

查看ntp服务状态watch ntpq -p

4.安装Cloudera Manager Server和Agent

4.1.创建cloudera-manager文件夹(1~7步在三个节点都要进行)

mkdir /opt/cloudera-manager

4.2.在master节点解压安装包至/opt/cloudera-manager默认目录

tar -zxvf cloudera-manager-el6-cm5.8.0x8664.tar.gz -C /opt/cloudera-manager

4.3.创建用户

useradd --system --home=/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4.4.创建log文件夹

mkdir /var/log/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server

4.5.修改agent指向的sever地址

进入到cd /opt/cloudera-manager/cm-5.8.0/etc/cloudera-scm-agent

使用vim config.ini

server_host=localhost改为server_host=master

4.6.创建存放parcel的文件夹

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

4.7.创建run/cloudera-scm-agent文件夹

mkdir /opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-agent

如果有则不用创建。

以下开始是在Master上进行!

4.8.为Cloudera Manager 5建立数据库 

将mysql-connector-java-5.1.6-bin.jar文件放到/opt/cm-5.8.0/share/cmf/lib/中。

cp mysql-connector-java-5.1.6-bin.jar /opt/cloudera-manager/cm-5.8.0/share/cmf/lib/

4.9.在master节点初始化CM5的数据库

/opt/cloudera-manager/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

4.10.准备Parcels,用以安装CDH5 

将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。

相关的文件如下:

  • CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
  • CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
  • manifest.json

最后将CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1,重命名为CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha文件。

4.11.执行启动脚本 

在master节点启动服务端:

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server start

在所有节点启动Agent:

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent start

等待5分钟,分别使用

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server status

/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent status

检查server和agent状态。如果出错,比如死掉了之类的,去

/opt/cloudera-manager/cm-5.8.0/log里面查看日志,看看是哪里报错了

如果agent报错是以下这样

Traceback (most recent call last):
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2163, in connect_to_new_supervisor
    self.get_supervisor_process_info()
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2185, in get_supervisor_process_info
    self.identifier = self.supervisor_client.supervisor.getIdentification()
  File "/usr/lib64/python2.6/xmlrpclib.py", line 1199, in __call__
    return self.__send(self.__name, args)
  File "/usr/lib64/python2.6/xmlrpclib.py", line 1489, in __request
    verbose=self.__verbose
  File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/supervisor-3.0-py2.6.egg/supervisor/xmlrpc.py", line 470, in request
    '' )
ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>

重启虚拟机即可解决,是因为有什么程序占用了那个端口。

5.配置CDH集群

PS:由于某些原因,安装的时候我的主机名也就是Master是叫yao5,不要在意

验证都正常工作后,就在浏览器打开http://master:7180进入CDH管理界面,由于CM Server的启动需要花点时间,这里可能要等待一会(我最久等了20分钟)才能访问,默认的用户名和密码均为admin。

5.1.为CDH群集安装指定主机

为CDH群集安装指定主机这一步(忘截图了==|||),要能直接在当前管理的主机能看到三台机子,分别为Master,Slave1,Slave2.才说明安装正确了,如果搜不到,说明可能是你偷懒直接复制cm-5.8.0这个文件夹给其他主机了,因为在启动的时候会生成一个SSID,是这个机子唯一的,所以搜索的时候可能会出问题。

5.2.群集安装

接下来是群集安装,这一步点选使用Parcel(建议),将网络地址全部删除,退出来后要能看到可以选择本地包才说明本地配置对了,如果没看到,可能有以下几个原因

  1. 未将CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1,重命名为CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha
  2. cloudera,parcel-repoparcels三个文件夹的权限设置没有设置好。

Screenshot-7_1.png

安装完成后如上图。

5.3.检查主机正确性

Screenshot-8_1.png

如果出现和上图一样,就说明离成功又近了一步,如果出现了其他错误,比如出现JAVA版本不一致,想想你是不是自己安JDK了,这个地方会导致后面Spark安装失败,没有例外,因为这里我们起码重装了5次,才发现必须用官方给的JDK。

按照给出的方式修改,输入

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

如果你想重启后不出问题,可以按上面的修改其他那些文件。

修改完后点击重新运行,得到以下样子

Screenshot-9.png

是不是看起来很舒服。

5.4.选择在集群上安装的服务

Screenshot-10.png

我们选择安装含Spark的内核

5.5.自定义角色分配

Screenshot-11.png

注意将DataNode选成所有主机,还有下面的Zookeeper选成所有主机,其他默认就可以了。

5.6.数据库设置

Screenshot-12.png

之前已经配置过数据库,直接像上面那样填即可,可能会在Hue测试连接的时候失败,那就是你没有安装完MySQL包里share,最好全部安装,防止报各种奇怪的错。

5.7.所需目录结构

Screenshot-13.png

默认即可,不用改动什么。

5.8.等待初始化和启动服务

这个地方初始化可能会出各种问题

1.Spark报错,一般都是JDK未使用官方版本。

2.Hive,Hbase,Hue等报错,类似于下图

Screenshot-14.png

解决办法也就是将mysql-connector-java-5.1.6-bin.jar拷贝到hive存放jar文件的目录重试即可。

cp mysql-connector-java-5.1.6-bin.jar /opt/cloudera/parcels/CDH-5.8.0-1.cdh5.8.0.p0.42/lib/hive/lib/

3.Oozie报错,显示timeout,这里是因为网络环境太差,传输很慢,所以要把超时时间设置久一点,我们将超时时间调到了300s。

Screenshot-20.png

如上图出现报错,浏览器打开另一个标签页,进入http://master:7180,点击oozie组件,搜索oozie_upload_sharelib_cmd_timeout parameter 和 change it to something bigger 然后将270改为600即可解决。

最后安装成功

Screenshot.png

6.调试CDH集群

安装完成后会因为电脑过卡,内存过小,硬盘空间不够等等问题导致会有很多运行状态不佳的主机

Screenshot-2.png

cdh_11

Screenshot-1_1.png

经过将内存阈值,分配空间阈值,报警阈值调小后即可解决,最后等待一会便可以达到全绿,满足强迫症的你。

Screenshot-2_1.png

输入http://master:8888 可以进入Hue中,使用Hive,Pig和Oozie

hue

在终端输入spark-shell可以进入Spark-shell.

我们可以使用hdfs hadoop jar \/opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \pi 10 100来测试mapreduce,运行结果如下

Screenshot-6.png

END

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部