文档章节

Clouder CDH 5.9 安装 (SuSE Linux Enterprise 12 SP1)

pearma
 pearma
发布于 2016/12/27 13:11
字数 1196
阅读 649
收藏 1

Clouder 5.9 安装说简单也简单,说复杂也复杂,就看你是否对每一步都清楚。其中最关键的还是要有Internet网络连接,这样需要什么软件,直接下载即可。离线安装不是说不行,但是很费劲。接下来介绍一下安装的步骤。

基础环境约定

假设我们现在是建一个Cloudera CDH 5.9 的集群。 包括三台机器。

10.129.39.1 cloudera-manager-server cms #这台就做服务管理,不作为hadoop集群的一部分

10.129.39.2 hadoop-master hm #这台作为hadoop集群的主机

10.129.39.3 hadoop-slave hs #这台作为hadoop集群的从机

环境准备

cloudera安装,对环境主要有以下3点基本要求

  1. 互联网连接,至少要配置网络代理。如何配置,可以看这里
  2. 主机名和ip地址的映射关系,要正确地反映在你hosts文件里
  3. 机器之间要建立免密互通关系。

Cloudera Manager安装

要装CDH,先要装Clouder Manager。

$sudo zypper addrepo -fc https://mirrors.ustc.edu.cn/opensuse/distribution/13.2/repo/oss/ oss

$ wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

$ chmod u+x cloudera-manager-installer.bin

$ sudo ./cloudera-manager-installer.bin

这个时候,如果有互联网连接,就会很顺利。 installer会装好软件库来源,下载jdk1.7,并安装manager. 此时,可以去/var/log/cloudera-manager-installer/看日志。

tail -f /var/log/cloudera-manager-installer/2.install-oracle-j2sdk1.7.log
tail -f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log

此时可以先去喝杯茶,休息一下,因为有六百兆的数据需要下载,时间比较久。

安装结束后,系统会提示你用浏览器访问 http://10.129.39.1:7180。 记得此时要关闭系统(10.129.39.1)的 防火墙,否则你就会被迟迟不出现的画面搞得一头雾水。

$sudo rcSuSEfirewall2 stop

如果一切正常,你用chrome打开以上网站的时候,就能看到cloudera-manager的登录画面,用户名和口令都是admin。这样cloudera-manager就算安装好了。

###安装CDH 5.9.0 ####准备动作 由于hadoop这个体系最大的特点就是利用大量的主机来并行处理,所以搭平台最主要的工作就是装机器。clouder-manager提供了一种图形化的方式,让你在一个点,同时安装多台机器。这就是cloudera-manager最直观的好处。

一般情况下,cloudera-manager首先会在每一台节点机上安装jdk,和cloudera-agent 这两个软件,然后再装cdh。由于cdh比较庞大,通过网络下载实在是太浪费时间,所以往往是先把整个cdh包下载到本地,通过cloudera-manager-server来分发。

  1. 为每一台节点机指定外部软件源。因为安装过程中,可能会遇到增加一些依赖软件的情况。

zypper addrepo -fc https://mirrors.ustc.edu.cn/opensuse/distribution/13.2/repo/oss/ oss


2. 下载parcel.
wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel.sha1

wget http://archive.cloudera.com/cdh5/parcels/5.9.0.23/manifest.json
下载回来的3个文件,要放在cloudera-manager-server的/opt/cloudera/parcel-repo/下,而且还要把CDH-5.9.0-1.cdh5.9.0.p0.23-sles12.parcel.sha1

理论上cloudera-manager能够自动在节点机下载jdk和安装cloudera-agent,但是事情总有例外。我就遇到了以下问题。

    Problem: cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 requires apache2, but this requirement cannot be provided 
    uninstallable providers: apache2-2.4.10-1.1.i586[oss] 
    apache2-2.4.10-1.1.x86_64[oss] 
    Solution 1: downgrade of systemd-210-83.2.x86_64 to systemd-210-25.5.4.x86_64 
    Solution 2: do not install cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 
    Solution 3: do not install cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 
    Solution 4: break cloudera-manager-agent-5.9.0-1.cm590.p0.249.sles12.x86_64 by ignoring some of its dependencies 

    Choose from above solutions by number or cancel [1/2/3/4/c] (c): c

以上错误的意思就是说,我要装agent , 但是需要将一个系统组件降级,但是这个操作我不敢替你做决定,所以就干脆不装了。

对于这个问题,那就只能由用户自己手工安装cloudera-agent。好在cloudera网站上提供了相关的命令。

    $ sudo zypper install cloudera-manager-agent cloudera-manager-daemons

手工装好cloudera-agent后,可以回到cloudera-manager门户,继续往下安装。后面就很顺利了。

如果有不顺利的情况,问题一般出在以下地方:

1. 防火墙有没有关掉?因为cloudera-manager会允许你把服务放在不同的主机上,这样主机和主机之间的网络通讯一定要保持通畅。为了简化处理,应该先关闭防火墙。

    $sudo rcSuSEfirewall2 stop

2. 如果防火墙关闭了,还是出现错误的话,要看看主机名是否准确。按理这个一开始就要设置好,但是不排除一开始设置的有问题。注意观察错误信息,如果出现连接不上的问题,要看看hosts文件是否准确地记录的主机的ip地址

© 著作权归作者所有

pearma
粉丝 3
博文 67
码字总数 26042
作品 0
徐汇
高级程序员
私信 提问
SUSE Linux Enterprise 15 Service Pack 1(SP1)发布

SUSE Linux Enterprise 15 Service Pack 1(SP1)旨在更轻松,更快速地帮助用户将OpenSuSE Leap 15社区Linux操作系统迁移至为企业准备的SUSE Linux Enterprise Server 15系统,并在适用于ARM...

clouddyy
06/26
1K
0
潜伏 11 年之久,Linux 惊现高危内核漏洞 "Phoenix Talon"

Quadra Kill! Linux惊现四个高危内核漏洞: 近日启明星辰ADLab(积极防御实验室)发现Linux内核存在四个极度危险的漏洞——代号“Phoenix Talon”(CVE编号:CVE-2017-8890、CVE-2017-9075...

oschina
2017/06/16
8.9K
42
英特尔修复 Linux CPU 漏洞:19 年前的奔腾3也支持

Intel CPU 处理器曝出的 Spectre、Meltdown 漏洞事件闹得沸沸扬扬,但其实英特尔早就在进行修复了,CEO 柯再奇也公开承诺会在月底前完成所有漏洞修复工作。 现在,英特尔发布了面向 Linux 系...

局长
2018/01/11
2K
20
SUSE 为云原生、容器化应用提供多模架构平台,助力企业 IT 转型

在企业纷纷实施 IT 转型,以适应当前和未来业务发展需要之际,SUSE® 近日宣布推出 SUSE Linux Enterprise 15 Service Pack 1 操作系统,为企业的传统和逐渐发展的容器化工作负载奠定基础。 ...

作者: Suse
06/28
0
0
SUSE Linux Enterprise助力企业数字化转型

目前一个很大的趋势是 IT 转型,到现在这个趋势已经持续好几年。AI 的部署可以说是 IT数字化转型比较具有代表性的一个项目,从它部署在数据中心的占比来看,2018 年只有 4%,而据预测到 2022...

Linux就该这么学
07/22
30
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
今天
58
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
今天
27
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
今天
61
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
今天
57
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
今天
50
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部