文档章节

Cloudera Manager 5.3 和 CDH5.3.0 本地(离线)

yimi
 yimi
发布于 2015/01/18 22:18
字数 2969
阅读 262
收藏 1
点赞 0
评论 0

声明一下:http://my.oschina.net/dataRunner/blog/369129    是本人所写,并非抄袭。

有部分内容来自 http://www.wangyongkui.com/hadoop-cdh5/ 这个文件是根据官网操作,翻译的不错,但是有个别地方有错误

系统环境

1. 4台联想R510服务器,其中master节点4核心、8GB,其它节点双核心、4GB

2. 网卡:100M

3. 共有硬盘6TB

4. 网络环境内网。

5. Centos6.5 x64(安装系统时尽量把开发包安装齐全,另master节点需要Mysql可以在安装系统时勾选)。

准备工作

1.1 卸载系统自带OPEN-JDK(所有节点)

安装好的Centos系统有时会自动安装OpenJdk,用命令java -version查看:

如有上述显示,说明系统里已经有OpenJdk,执行以下命令查看系统中有哪些OpenJdk相关包:

rpm -qa | grep java

 

其中有如下包必须卸载,根据系统版本不同,各个包版本号会有所差异: java-1.5.0-gcj-1.5.0.0-29.1.el6.x86_64 java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64 java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64 执行以下命令,卸载:

说明你如果你的系统也是centos 6.5 x64 你需要卸载jdk 如下

rpm -e --nodeps java-1.6.0-openjdk-devel-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodeps java-1.7.0-openjdk-devel-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64

rpm -e --nodeps libvirt-java-0.4.9-1.el6.noarch

rpm -e --nodeps tzdata-java-2013g-1.el6.noarch

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64

rpm -e --nodeps libvirt-java-devel-0.4.9-1.el6.noarch

 

安装JDK所有节点,有你几台机器就按照几台)

1.2 安装jdk

(1)使用工具把jdkhadoop复制到linux/root/Downloads

 

(2)cp  /root/Downloads/*  /usr/local

(3)cd /usr/local

赋予执行权限 chmod u+x  jdk-7u71-linux-x64.tar.gz

 

 

 

(4) tar -zxvf jdk-7u71-linux-x64.tar.gz

(5)重命名 mv jdk1.7.0_71  jdk

 

(6)执行命令 vi /etc/profile 设置环境变量  

增加两行 export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

保存退出

   执行命令  source  /etc/profile

 (7)验证:执行命令java -version

 

1.3 修改主机名

(1)执行命令hostname cdh1  修改会话中的hostname

(2)验证:执行命令hostname

(3)执行命令vi  /etc/sysconfig/network 修改文件中的 hostname=cdh1

(4)验证:执行命令reboot -h now 重启机器

1.4 设置ip与hostname绑定

其中HOSTNAME与主机名一致。主机名如果跟系统安装时不一致请执行hostname命令让其立即生效,否则会影响各节点互相访问。修改/etc/hosts文件,添加:

(1)执行命令vi  /etc/hosts

在文本最后增加一行 10.8.166.241 cdh1

10.8.166.242 cdh2

10.8.166.243 cdh3

10.8.166.244 cdh4

 

1.5 打通SSH(所有节点)

这里master节点和其他datanode节点会略有区别。 首先所有节点均执行如下命令,遇到提示一路回车即可:

1.6 ssh免密码登陆

(1)执行命令ssh-keygen -t rsa (然后一路Enter)  产生秘钥位于/root/.ssh/

(2)执行命令cp /root/.ssh/id_rsa.pub  /root/.ssh/authorized_keys  产生授权文件

(3)验证:ssh localhost  (ssh 主机名)

 

 

 

1.7克隆操作

方式一

(1)如果克隆的直接下一步;

(2)判断本系统是否密码配置成功:

ssh cdh2  (ssh 主机名)

(3)主节点把密码传到从节点

ssh-copy-id  -i  cdh2

方式二

(1)ssh登陆到从节点

ssh cdh2

(2)从节点把密码传到主节点

ssh-copy-id  -i  cdh1

这两个只需操作一个就行了

cd /root/.ssh/ 

 

然后输入密码即可,以后再到其他机器就不需要密码额。

1.8关闭防火墙(所有节点)

防火墙会引起hadoop相关组件通讯的各种异常。

1.8.1关闭防火墙

(1)执行命令service iptables stop (说明:临时关闭) 

(2)验证:执行命令service iptables status (说明:查看防火墙状态)

1.8.2关闭防火墙的自动开启

(1)执行命令chkconfig iptables off (说明:重启后生效)

(2)验证:执行命令chkconfig --list|grep iptables

 

1.9关闭selinux

1 .命令: vi /etc/sysconfig/selinux 或者

修改/etc/selinux/config 下的 SELINUX=disabled (重启后生效)。


2.SELINUX=”后的信息为“disabled

3.setenforce 0 (临时生效)

4.重启机器 指令 reboot

 

2.0 (非必须项)安装NTP服务(所有节点)

(备注:此操作我没有用,我命令:date查看一下系统时间,几个机器没有差别,再说也是内网,响应速度非常快)

 

集群中所有主机必须保持时间同步,如果时间相差较大会引起各种问题。 具体思路如下:

1. master节点作为ntp服务器与外界对时中心同步时间,随后对所有datanode节点提供时间同步服务。

2. 所有datanode节点以master节点为基础同步时间。

所有节点安装相关组件:ntpntpdate。按顺序安装即可,完成后,配置开机启动:

chkconfig ntpd on

检查是否设置成功:

 

chkconfig --list ntpd

其中2-5on状态就代表成功。

配置内网NTP服务器(master节点)

在配置之前,先使用ntpdate手动同步一下时间,免得本机与对时中心时间差距太大,使得ntpd不能正常同步。这里选用65.55.56.206作为对时中心。

ntdate -u 65.55.56.206

 

ntp服务只有一个配置文件,配置好了就OK。 这里只给出有用的配置,不需要的配置都用#注掉,这里就不在给出:

driftfile /var/lib/ntp/driftrestrict 127.0.0.1restrict -6 ::1restrict default nomodify notrap server 65.55.56.206 preferincludefile /etc/ntp/crypto/pwkeys /etc/ntp/keys


配置文件完成,保存退出,启动服务,执行如下命令:

service ntpd startchkconfig ntpd on (设置开机启动)

检查是否成功,用ntpstart命令查看同步状态,出现以下状态代表启动成功:

 

synchronised to NTP server () at stratum 2time correct to within 74 mspolling server every 128 s

 

如果出现异常请等待几分钟,一般等待5-10分钟才能同步。

配置ntp客户端(所有datanode节点)ok保存退出,请求服务器前,请先使用ntpdate手动同步一下时间:

 

ntdate -u 192.168.1.101 (内网ntp服务器)

这里可能出现同步失败的情况,请不要着急,一般是本地的ntp服务器还没有正常启动,一般需要等待5-10分钟才可以正常同步。启动服务:

service ntpd start
chkconfig ntpd on

因为是连接内网,这次启动等待的时间会比master节点快一些,但是也需要耐心等待一会儿。

2.1 Mysql配置(master节点)

只需要配置master节点的Mysql即可。(这里不再介绍如何安装Mysql) 将mysql设置为开机启动:

chkconfig mysqld on


本次安装需要创建如下数据库(不包括Cloudera Manager的数据库,Cloudera Manager数据库有相关脚本创建,后面会有说明)

--hive数据库create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci--集群监控数据库create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci--hue数据库create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci


以上数据库,可能会根据安装组件的不同略有差别。 给用户授权(这里密码设为hadoop

 

grant all on *.* to root@"%" Identified by "hadoop";

正式开工

安装Cloudera Manager 5cm5

下载地址http://archive-primary.cloudera.com/cm5/cm/5/,根据自己的系统选择相应的版本,本次安装选用的是cloudera-manager-el6-cm5.0.0_x86_64.tar.gz。下载完成后只上传到master节点即可。然后解压到/opt目录下,不能解压到其他地方,因为cdh5的源会默认在/opt/cloudera/parcel-repo寻找,怎么制作cdh5的本地源文件会在之后介绍。给所有节点添加cloudera-scm用户:

userdel --system --home=/opt/cm-5.3.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

修改/opt/cm-5.3.0/etc/cloudera-scm-agent/config.ini 下面的serer_host

server_host=cdh1

Cloudera Manager 5建立数据库:

/opt/cm-5.3.0/share/cmf/schema/scm_prepare_database.sh mysql cm -h -uroot -proot --scm-host localhost scm scm scm

格式是:scm_prepare_database.sh 数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server所在的机器,后面那三个不知道代表什么,直接照抄官网的了。 因为我们用的是Mysql数据库,所以我们需要下载MysqlJDBC驱动,本次从官网上下载最新稳定版:mysql-connector-java-5.1.30.tar.gz,解压之后找到mysql-connector-java-5.1.30-bin.jar放到/opt/cm-5.3.0/share/cmf/lib/目录下。 开启Cloudera Manager 5 Server端:

1

/opt/cm-5.3.0/etc/init.d/cloudera-scm-server start

注意server首次启动不要立即关闭或重启,因为首次启动会自动创建相关表以及数据,如果因为特殊原因中途退出,请先删除所有表以及数据之后再次启动,否则将会出现启动不成功的情况。 开启Cloudera Manager 5 Agents端。 先scp /opt/cm-5.0.0到所有datanode节点上,然后在每台机器上开启Agents端:

1

scp -r  /opt/cm-5.3.0 root@datanode1:/opt/cm-5.3.0

等待拷贝成功,在所有datanode节点上启动:(注意必须以管理员权限启动)

1

sudo /opt/cm-5.3.0/etc/init.d/cloudera-scm-agent start

浏览器启动Cloudera Manager 5 控制台(默认端口号是7180),启动成功就会看到登陆页面。

安装CDH5

先下载到本地http://archive-primary.cloudera.com/cdh5/parcels/5.3.0/,这里需要下载两样东西,首先是与自己系统版本相对应的parcel包,然后是manifest.json文件。下载完成后将这两个文件放到master节点的/opt/cloudera/parcel-repo下(目录在安装Cloudera Manager 5时已经生成),注意目录一个字都不能错,接下来打开manifest.json文件,里面是json格式的配置

关于这个步骤我们可以更简单的操作,在官网上其实已经给出hash码,我们将其下载,并重命名为CDH-5.3.0-1.cdh5.3.0.p0.30-el6.parcel.sha

 

方式二(如果你想体验一下就用方式二,想简单就用方式一)

我们需要的就是与我们系统版本相对应的hash码,因为我们用的是Centos6.5,所以找到如下位置:

在这个大括号的最下面找到“hash”所对应的值。

 

“hash”的值复制下来,然后创建一个文件,文件名与你的parel包名一致,并加上.sha后缀:

这样你的目录下将有这3个文件,将“hash”的值复制到新建的sha文件中,并保存,好了,我们的本地源制作完成了。这样基本大功告成了,再之后的操作就是控制台按照步骤安装即可。

打开http://192.168.1.101:7180,登陆控制台,默认账户和密码都是admin,安装时选择免费版,之后由于cm5对中文的支持很强大,按照提示安装即可,如果系统配置有什么问题在安装过程中会有提示,根据提示给系统安装组件就可以了。

如果在安装时选择了安装Hive,可能会遇到安装失败的问题,查看一下日志发现时安装Hive时需要安装JDBC驱动,所以同样我们将Mysql的驱动包拷贝到/opt/cloudera/parcels/CDH-5.3.0-1.cdh5.3.0.p0.47/lib/hive/lib/目录下,之后再继续安装就不会遇到问题了。

拷贝这个目录如果还是出问题的话,就执行下面步骤

错误1

JDBC driver cannot be found. Unable to find the JDBC database jar on host :cdh1

解决方法:将mysqljar 文件放到 /usr/share/java  (记住是host :cdh1 主机的)

再次测试链接可能还会有下面问题,我是mysql root 用户链接, 密码也正确

并且我在Windows平台也用mysqll链接工具也能正常链接成功。这里测试链接就是过不去,并报一下问题

 

错误2

 

Logon denied for user/password. Able to find the database server and databas

 

解决方法:新一个Mysql 用户 并授权你

© 著作权归作者所有

共有 人打赏支持
yimi
粉丝 1
博文 17
码字总数 7909
作品 0
潍坊
高级程序员
Ambari离线安装hadoop集群所需资源包

ambari安装包 http://public-repo-1.hortonworks.com/ambari/centos6/ambari-1.7.0-centos6.tar.gz HDP(Hortonworks Data Platform) http://public-repo-1.hortonworks.com/HDP/centos6/H......

遇见o未来 ⋅ 2015/01/27 ⋅ 0

log4j直接输出日志到flume

log4j直接输出日志到flume 此jar是由Cloudera的CDH发行版提供的一个工具类,通过配置,可以将log4j的日志直接输出到flume,方便日志的采集。 在CDH5.3.0版本中是:flume-ng-log4jappender-1....

cloud-coder ⋅ 2015/07/06 ⋅ 4

Cloudera Manager5及CDH5离线安装说明

关于技术选型 --- http://www.tuicool.com/articles/7RRrie 同时可参考: http://www.doc88.com/p-0042075356791.html 1. 概述 本文概述了在CentOS6环境下,离线安装Cloudera Manager5(以下称...

强子哥哥 ⋅ 2015/10/23 ⋅ 0

CDH安装系统环境准备——系统版本和安装包下载地址指南

由于Hadoop深受客户欢迎,许多公司都推出了各自版本的Hadoop,也有一些公司则围绕Hadoop开发产品。在Hadoop生态系统中,规模最大、知名度最高的公司则是Cloudera。接下来的日子里,小编将带大...

pengdongcheng ⋅ 04/23 ⋅ 0

【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过...

雪饼 ⋅ 01/10 ⋅ 0

cloudra离线安装

http://archive-primary.cloudera.com/cdh5/parcels/latest/ http://archive-primary.cloudera.com/cm5/redhat/6/x8664/cm/5.0.2/RPMS/x8664/ 操作系统CENTOS6.X CDH版本 cdh5.X Cloudra企业......

泡海椒 ⋅ 2016/08/20 ⋅ 4

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有...

闫鹏磊 ⋅ 01/10 ⋅ 0

Cloudera Manager5.8.1安装

环境准备 1. 要求主服务器内存在10G以上(如果没有10g,可能后续会出错); 2. 关闭防火墙 service iptables stop chkconfig iptables off 3. 修改/etc/selinux/config 文件 将SELINUX=enforcing...

sinama ⋅ 2016/09/20 ⋅ 0

离线部署 Cloudera Manager 5 和 CDH 5.12.1 及使用 CDH 部署 Hadoop 集群服务

Cloudera Manager Cloudera Manager 分为两个部分:CDH和CM。 CDH是Cloudera Distribution Hadoop的简称,顾名思义,就是cloudera公司发布的Hadoop版本,封装了Apache Hadoop,提供Hadoop所有...

PengLei ⋅ 2017/09/25 ⋅ 0

Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget ht...

hsbxxl ⋅ 05/17 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Springboot2 之 Spring Data Redis 实现消息队列——发布/订阅模式

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式,这里利用redis消息“发布/订阅”来简单实现订阅者模式。 实现之前先过过 redis 发布订阅的一些基础概念和操...

Simonton ⋅ 18分钟前 ⋅ 0

error:Could not find gradle

一.更新Android Studio后打开Project,报如下错误: Error: Could not find com.android.tools.build:gradle:2.2.1. Searched in the following locations: file:/D:/software/android/andro......

Yao--靠自己 ⋅ 昨天 ⋅ 0

Spring boot 项目打包及引入本地jar包

Spring Boot 项目打包以及引入本地Jar包 [TOC] 上篇文章提到 Maven 项目添加本地jar包的三种方式 ,本篇文章记录下在实际项目中的应用。 spring boot 打包方式 我们知道,传统应用可以将程序...

Os_yxguang ⋅ 昨天 ⋅ 0

常见数据结构(二)-树(二叉树,红黑树,B树)

本文介绍数据结构中几种常见的树:二分查找树,2-3树,红黑树,B树 写在前面 本文所有图片均截图自coursera上普林斯顿的课程《Algorithms, Part I》中的Slides 相关命题的证明可参考《算法(第...

浮躁的码农 ⋅ 昨天 ⋅ 0

android -------- 混淆打包报错 (warning - InnerClass ...)

最近做Android混淆打包遇到一些问题,Android Sdutio 3.1 版本打包的 错误如下: Android studio warning - InnerClass annotations are missing corresponding EnclosingMember annotation......

切切歆语 ⋅ 昨天 ⋅ 0

eclipse酷炫大法之设置主题、皮肤

eclipse酷炫大法 目前两款不错的eclipse 1.系统设置 Window->Preferences->General->Appearance 2.Eclipse Marketplace下载【推荐】 Help->Eclipse Marketplace->搜索‘theme’进行安装 比如......

anlve ⋅ 昨天 ⋅ 0

vim编辑模式、vim命令模式、vim实践

vim编辑模式 编辑模式用来输入或修改文本内容,编辑模式除了Esc外其他键几乎都是输入 如何进入编辑模式 一般模式输入以下按键,均可进入编辑模式,左下角提示 insert(中文为插入) 字样 i ...

蛋黄Yolks ⋅ 昨天 ⋅ 0

大数据入门基础:SSH介绍

什么是ssh 简单说,SSH是一种网络协议,用于计算机之间的加密登录。 如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码...

董黎明 ⋅ 昨天 ⋅ 0

web3j教程

web3j是一个轻量级、高度模块化、响应式、类型安全的Java和Android类库提供丰富API,用于处理以太坊智能合约及与以太坊网络上的客户端(节点)进行集成。 汇智网最新发布的web3j教程,详细讲解...

汇智网教程 ⋅ 昨天 ⋅ 0

谷歌:安全问题机制并不如你想象中安全

腾讯科技讯 5月25日,如今的你或许已经对许多网站所使用的“安全问题机制”习以为常了,但你真的认为包括“你第一个宠物的名字是什么?”这些问题能够保障你的帐户安全吗? 根据谷歌(微博)安...

问题终结者 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部