文档章节

CDH5.7快速离线安装教程

 第二片叶子
发布于 2016/08/26 22:56
字数 2021
阅读 50
收藏 2

注:本文是转载的,按照作者的步骤成功的安装了CDH5。

其中有些步骤,在操作过程中产生误解走了岔路,用红色的字体标注

使用的配置:

1、VM10,3台虚拟机(操作系统centos6.7)

2、每台机器4G内存,80G存储(在安装要结束的时候,主节点内存不足,扩至8G)

3、CloderaManager5.8 和 CDH5.7

(最好是4个节点 ,1个主节点 , 3个数据节点)

 

一、简介

CDH是cloudera公司开发的一个快速部署、高效管理Hadoop和其各种组件的一个商业化产品。主要分为两部分,分别为Cloudera Manager和CDH软件包。其中Cloudera Manager负责集群的部署与管理。CDH软件包囊括了hdaoop各类的组件的安装包,例如hive、hdfs、spark等等。

由于实验室服务器集群实现了硬件虚拟化,要在虚拟资源重新搭建CDH集群。cloudera的搭建官方提供了三种安装方式。分别是在线安装、yum 安装和离线安装,我首先是采用离线安装的方式,这种方式也是目前大部分博客教程所采用的方式。但是照着这种方式我每次到最后安装服务的时候总是在部署配置 文件的时候出错,提示错误如图所示:
这里写图片描述

猜测原因是权限问题,但是在网上寻找办法也一直没有解决。这里吐槽一下cloudera官方社区,没有几个人。因此舍弃到这种安装方式采用在线安装,但是在线安装需要耗费大量时间在软件包的下载上,不过我们可以手动下载安装,这样可以大大提高安装速度。

二、基础环境

软件环境

1.操作系统:Centos6.5
2.CDH软件包版本5.6、Cloudra Manager版本5.7
3.JDK版本oracle jdk1.7.0_67

硬件环境

9台虚拟机节点,硬件配置如下:

这里写图片描述

三、基础配置

以下所有操作均在root下进行

1.host配置

1)修改主机名,vim /etc/sysconfig/network,各台主机honstname改名为对应的名称,service network restart重启网卡生效。

2)添加hostname与ip的对应关系如下图所示:

这里写图片描述

3)将host从主节点master分发到各个从节点。:
scp /etc/hosts root@slave1:/etc

2.关闭防火墙和selinux

1)关闭防火墙(每个节点)
service iptables stop
chkconfig iptables off

2)关闭selinux(重启生效)
vim /etc/selinux/config

这里写图片描述

3.ssh无密码登录

1)各个节点安装ssh
ssh-keygen -t rsa 一路回车结束

2)将公钥加入到authorized_keys(只需master操作)
cat id_rsa.pub >authorized_keys

3) 修改权限
chmod 600 authorized_keys

4)将authorized_keys从master分发到各个slave
scp authorize_keys root@slave1:~/.ssh/

4.jdk安装

1)卸载自带java
rpm -qa |grep java
yum remove java*(删除自带的java)

2)安装jdk(每个节点rpm安装)
rpm -ivh jdk1.7.0_67.rpm

3)配置java环境(每个节点配置,当然可以一个节点配置完了使用scp分发)
在/etc/profile中加入:
export JAVA_HOME=/usr/java/jdk1.7.0_67
export CLASSPATH=.:$CLASSPTAH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin

4)使配置生效(每个节点)
source /etc/profile

5.ntp时间同步

1)安装NTP(每个节点)
yum install ntp

2)配置NTP
vim /etc/ntp.conf
master配置:(选用复旦大学ntp服务器)

这里写图片描述

slave配置:(同步master)

这里写图片描述

3)开启NTP服务
service ntpd start
chkconfig ntpd off

4)查看同步效果
命令:ntpstat

这里写图片描述

四、Cloudera Manager安装

1.下载rpm安装包

rpm安装包下载地址:其中jdk如果自己安装好了可以不用下载。

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.7/RPMS/x86_64/

包含软件:

这里写图片描述

2.master节点安装

将下载好的rpm包放到一个文件夹中,任意命名,进入到这个文件夹手动安装:
yum localinstall --nogpgcheck *.rpm
使用yum安装会同时安装相关的依赖,非常方便
如果要卸载使用
yum --setopt=tsflags=noscripts remove xxxx

3.slave节点安装

slave中不需要安装server的包,只需要安装cloudera-manager-agent.rpm和cloudera-manager-daemons.rpm。先将两个rpm包拷贝到slave节点上,剩下安装方法和master一样。

4.安装cloduera manager二进制安装包(master节点)

这一步比较坑,执行第三步的时候,居然是联网下载最新的CDH(目前是5.8.1.1),当时虚拟机不能连外网,等了很久,才在网上搜索到安装日志(/var/log/clouder-manager-installer/,这个文件夹下有0-7八个日志),

一定不要先执行这一步,先执行下面的步骤,从 http://archive.cloudera.com/cdh5/parcels/5.6/ 上下载文件,放在相应的目录里,(网站后的5.6 可以修改位 5.7 或 5.8). 然后在执行 ./cloudera-manager-installer.bin

如果不能联网,就自己把cloudera-manager-installer.bin 这个文件下载下来,放到主节点中

1)wget http://archive.cloudera.com/cm5/installer/latest/cloudera-manager-installer.bin

2)chmod u+x cloudera-manager-installer.bin

3)./cloudera-manager-installer.bin

4)根据安装向导一路next。注意,如果之前master上没有手动安装rpm包此时就会联网下载,下载速度一般都较慢,太费时间。

5)安装结束以后会提示登录7180端口。

五、CDH服务安装

1.制作本地parcel

1)下载CDH软件包,下载地址:

http://archive.cloudera.com/cdh5/parcels/5.6/

下载对应版本的CDH:下载图中标红的三个资源(el6代表centos6)

这里写图片描述

之前完成CM安装之后master节点会在/opt目录下生成cloudera文件夹,将刚才下载的三个文件移动到parcel-repo文件夹中并将
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha1更名为
CDH-5.6.0-1.cdh5.6.0.p0.45-el6.parcel.sha如不更名会在线重新下载。

2.配置软件

1)登录7180端口:http://master:7180

这里写图片描述

初始用户名与密码均为admin

2)同意协议一路continue

这里写图片描述

输入集群中各个主机名或者ip,可以用空格分隔,点击search,然后continue

3)选择parcel版本,由于我们下载的是CDH5.6,所以选择CDH5.6。这里可能没有CDH5.6的选项,这是由于我们是在 cloudera-server开启之后才将CDH5.6的三个文件放入parcel-repo文件夹中,重启一下cloudera-scm- server就行了:
/etc/init.d/cloudera-scm-server restart

4)安装jdk,我们之前已经在每个节点都安装了jdk,所以这步可以跳过。

5)设置ssh登录,选择全部主机使用统一ssh密码,输入密码点击continue。

6)安装cloudera-manager-agent相关软件。由于我们之前在每个节点手动安装了相应的rpm包,所以这里很快就会完成。如果之前各个节点没有手动安装,这一步会在线下载rpm包,速度非常慢,并且如果错误还会中断。强烈建议不要使用在线下载。
大概十分钟左右安装完成(这里只有7个节点,第一次安装的时候我只安装了7个节点,剩下两个节点是后来添加到集群中的),然后继续Continue。
这里写图片描述

7)主机检测:

这里写图片描述

会提示错误,解决办法
echo 0 >/proc/sys/vm/swappiness(临时生效)
echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag(临时生效)

重启永久生效:
编辑vim /etc/sysctl.conf

这里写图片描述

编辑vim /etc/rc.local

这里写图片描述

8)安装parcel包
    接下来CM安装parcel包,图中提示host is in bad health,这个可以忽略,多等一会就会恢复正常。

 

安装parcel 包,自己在安装的时候,总是在 激活 的时候报错,可以试试重启虚拟机(全部重启) ,再安装

这里写图片描述

9)安装服务
如没有特殊需求可以默认

这里写图片描述

10)一路continue完成安装

这里写图片描述

至此CDH集群就搭建完成了,前前后后花费了两个周末的时间才完成,过程中遇到了数不完的坑。感觉目前大部分博客教程都是较早之前的,特别是对于离 线安装的方法我重复安装了好几次都出现了同样的问题,最后还是在不断尝试中总结出了这个即方便又快速的安装方法,希望对大家有所帮助。

© 著作权归作者所有

粉丝 0
博文 1
码字总数 2021
作品 0
合肥
私信 提问
CDH 5.9 之 Kylin 安装 (SuSE Linux Enterprise 12 SP1)

前言 Kylin的官网上,关于安装部分,只有寥寥数语,但是很多人在安装Kylin的时候,都遇到各种问题。那么这个到底是什么情况呢?原因很简单:Kylin的check-env.sh,有点弱。很多时候,用户在安...

pearma
2016/12/28
846
13
Spark 2.0视频|快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7)

快学Spark 2.0(新特性、含真实项目、纯Scala语言开发、CDH5.7) 分享网盘下载——https://pan.baidu.com/s/1c2F9zO0 密码: pzx9 Spark进入2.0时代,引入了很多优秀特性,性能上有较大提升,A...

jgkmeymds
2017/10/20
0
0
Linux一键安装Aria2+Yaaw+FileManager实现BT磁力下载,并在线查看/观看

说明:博客关于下载的教程已经很多了,特别是,看见小大佬写了个++一键包,比一般的面板配置要简单,挺方便的,就转载下。 简介 是一个轻量级的多协议和多源命令行 下载工具。它支持/,,,和...

bluefrankey
01/31
62
0
ZStack v1.7.2 发布,修复潜在快照丢失风险问题

ZStack 1.7.2 于2016年10月28日正式发布。 本版本修复了一个可能导致主存储上的快照元数据跟数据库中的快照元数据不一致,从而带来潜在的快照丢失风险问题。我们强烈建议使用主存储类型为:本...

局长
2016/10/28
1K
0
ZStack Community 1.10 版本正式发布

ZStack Community 1.10 版本今天正式发布,欢迎大家下载安装。在该版中新增了如下功能:支持设置云主机显卡类型,优化TUI界面,修复已知问题,提高稳定性。 一直以来,社区版的功能大多是在c...

ZStack社区版
2017/03/21
1K
1

没有更多内容

加载失败,请刷新页面

加载更多

Eureka应用注册与集群数据同步源码解析

在之前的EurekaClient自动装配及启动流程解析一文中我们提到过,在构造DiscoveryClient类时,会把自身注册到服务端,本文就来分析一下这个注册流程 客户端发起注册 boolean register() t...

Java学习录
27分钟前
7
0
Java描述设计模式(15):责任链模式

本文源码:GitHub·点这里 || GitEE·点这里 一、生活场景描述 1、请假审批流程 公司常见的请假审批流程:请假天数 当 day<=3 天,项目经理审批当 3<day<=5 天,部门经理审批当 day>5 天...

知了一笑
37分钟前
6
0
总结:数组与链表

1、内存申请:数组在内存上是连续的空间;链表,内存地址上可以是不连续的。 2、查询速度:数组可以随机访问,链表必须顺序访问,即从首个元素开始遍历,逐个查找,所以数组查询很快。 3、写入...

浮躁的码农
46分钟前
6
0
HashMap源码分析

read

V丶zxw
今天
5
0
Python字符串或JSON字符串转字典dict、列表list

有3种方法 1、使用ast模块 >>> import ast>>> s = '["test",1]'>>> ast.literal_eval(s)['test',1]>>> s = '{"test":1}'>>> ast.literal_eval(s){'test': 1} 2、eval函数,这个......

编程老陆
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部