Clouder CDH 5.9 安装 (SuSE Linux Enterprise 12 SP1)

原创
2016/12/27 13:11
阅读数 1.5K

Clouder 5.9 安装说简单也简单,说复杂也复杂,就看你是否对每一步都清楚。其中最关键的还是要有Internet网络连接,这样需要什么软件,直接下载即可。离线安装不是说不行,但是很费劲。接下来介绍一下安装的步骤。

基础环境约定

假设我们现在是建一个Cloudera CDH 5.9 的集群。 包括三台机器。

10.129.39.1 cloudera-manager-server cms #这台就做服务管理,不作为hadoop集群的一部分

10.129.39.2 hadoop-master hm #这台作为hadoop集群的主机

10.129.39.3 hadoop-slave hs #这台作为hadoop集群的从机

环境准备

cloudera安装,对环境主要有以下3点基本要求

  1. 互联网连接,至少要配置网络代理。如何配置,可以看这里
  2. 主机名和ip地址的映射关系,要正确地反映在你hosts文件里
  3. 机器之间要建立免密互通关系。

Cloudera Manager安装

要装CDH,先要装Clouder Manager。

$sudo zypper addrepo -fc https://mirrors.ustc.edu.cn/opensuse/distribution/13.2/repo/oss/ oss

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin

$ sudo ./cloudera-manager-installer.bin

这个时候,如果有互联网连接,就会很顺利。 installer会装好软件库来源,下载jdk1.7,并安装manager. 此时,可以去/var/log/cloudera-manager-installer/看日志。

tail -f /var/log/cloudera-manager-installer/2.install-oracle-j2sdk1.7.log
tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log

此时可以先去喝杯茶,休息一下,因为有六百兆的数据需要下载,时间比较久。

安装结束后,系统会提示你用浏览器访问 http://10.129.39.1:7180。 记得此时要关闭系统(10.129.39.1)的 防火墙,否则你就会被迟迟不出现的画面搞得一头雾水。

$sudo rcSuSEfirewall2 stop

如果一切正常,你用chrome打开以上网站的时候,就能看到cloudera-manager的登录画面,用户名和口令都是admin。这样cloudera-manager就算安装好了。

###安装CDH 5.9.0 ####准备动作 由于hadoop这个体系最大的特点就是利用大量的主机来并行处理,所以搭平台最主要的工作就是装机器。clouder-manager提供了一种图形化的方式,让你在一个点,同时安装多台机器。这就是cloudera-manager最直观的好处。

一般情况下,cloudera-manager首先会在每一台节点机上安装jdk,和cloudera-agent 这两个软件,然后再装cdh。由于cdh比较庞大,通过网络下载实在是太浪费时间,所以往往是先把整个cdh包下载到本地,通过cloudera-manager-server来分发。

  1. 为每一台节点机指定外部软件源。因为安装过程中,可能会遇到增加一些依赖软件的情况。

zypper addrepo -fc https://mirrors.ustc.edu.cn/opensuse/distribution/13.2/repo/oss/ oss


2. 下载parcel.
wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel.sha1

wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/manifest.json
下载回来的3个文件,要放在cloudera-manager-server的/opt/cloudera/parcel-repo/下,而且还要把CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel.sha1

理论上cloudera-manager能够自动在节点机下载jdk和安装cloudera-agent,但是事情总有例外。我就遇到了以下问题。

    Problem: cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 requires apache2, but this requirement cannot be provided 
    uninstallable providers: apache2-2.4.10-1.1.i586[oss] 
    apache2-2.4.10-1.1.x86_64[oss] 
    Solution 1: downgrade of systemd-210-83.2.x86_64 to systemd-210-25.5.4.x86_64 
    Solution 2: do not install cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 
    Solution 3: do not install cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 
    Solution 4: break cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 by ignoring some of its dependencies 

    Choose from above solutions by number or cancel [1/2/3/4/c] (c): c

以上错误的意思就是说,我要装agent , 但是需要将一个系统组件降级,但是这个操作我不敢替你做决定,所以就干脆不装了。

对于这个问题,那就只能由用户自己手工安装cloudera-agent。好在cloudera网站上提供了相关的命令。

    $ sudo zypper install cloudera-manager-agent cloudera-manager-daemons

手工装好cloudera-agent后,可以回到cloudera-manager门户,继续往下安装。后面就很顺利了。

如果有不顺利的情况,问题一般出在以下地方:

1. 防火墙有没有关掉?因为cloudera-manager会允许你把服务放在不同的主机上,这样主机和主机之间的网络通讯一定要保持通畅。为了简化处理,应该先关闭防火墙。

    $sudo rcSuSEfirewall2 stop

2. 如果防火墙关闭了,还是出现错误的话,要看看主机名是否准确。按理这个一开始就要设置好,但是不排除一开始设置的有问题。注意观察错误信息,如果出现连接不上的问题,要看看hosts文件是否准确地记录的主机的ip地址
展开阅读全文
打赏
0
1 收藏
分享
加载中
更多评论
打赏
0 评论
1 收藏
0
分享
返回顶部
顶部