文档章节

cloudera manager & CDH5 安装与升级

wennan
 wennan
发布于 2014/04/16 16:27
字数 827
阅读 2.3W
收藏 9
cdh

一、 准备工作

下载cdh的各种源:

1.下载cloudera manager installer:http://archive-primary.cloudera.com/cm5/installer

2.因为这次要模拟升级安装,首先要先下载beta的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0-beta-2/

3.然后下载release的源:http://archive-primary.cloudera.com/cm5/redhat/5/x86_64/cm/5.0.0/

4.然后下载parcel包,官方也推荐这种方式安装:http://archive-primary.cloudera.com/cdh5/parcels/

另外除了parcel包,还要下载json文件,没有那个json文件是无法正常安装的.

5.下载到本地后将rpm包的源,放到webserver目录下,写好yum的repo文件

[cloudera-manager]

name = Cloudera Manager, Version 5.0.0

baseurl = http://IP/yum-package/cm5/redhat/5/x86_64/cm/5.0.0/

gpgcheck = 0


6.parcel包添加验证文件

cat manifest.json 把sha那一段沾出来, 写到parcel包.sha文件里,然后为这三个文件授权755

(之前因为manifest.json文件改错,安装包一直失败,查看manager的log才发现问题)

至此准备工作完成!

二 、安装cloudera manager

./cloudera-manager-installer.bin 直接执行,这个还支持鼠标点击.

在最后一步前,准备好另一个终端,准备好手动拷贝刚才写的repo文件,因为安装时会被覆盖,所以只能手动反覆盖.......

完成manager机器的安装 就可以进web配置了,启动略慢

http://ip:7180


三、通过web安装cdh

1.添加完涉及的服务器后,手动指定parcel和agent的本地源

2.安装完成后选择服务,本次只选择了基本服务hdfs,yarn,zookeeper

3.指定角色,完成安装.

4.使用slave节点,测试上传文件ok


四、升级cloudera manager

升级cloudera manager

#备份:

# cd /mnt/hadoop/hdfs/name
# tar -cvf /root/nn_backup_data.tar .

1.把当前跑的所有服务都停掉,包括服务.

2.停掉cloudera-scm-server和cloudera-scm-server-db

service cloudera-scm-server stop
service cloudera-scm-server-db stop

3.准备好新版本的manager的repo文件

执行yum clean all && yum upgrade 'cloudera-*'

rpm -qa  'cloudera-*' 查看版本

4.升级完成,启动server和db

5.进入web升级agent们,一进去就会有提示,然后手动指定url,升级就可以鸟.


五、升级CDH

  1. 注意先办法namenode数据, 


  2. # cd /mnt/hadoop/hdfs/name
    # tar -cvf /root/nn_backup_data.tar .
  3. 点搜索框左边小礼品盒子图标,添加新版本parcel的url,添加后下面会多出个小图,点激活就可以自动升级了


至此完成所有升级.


六、错误整理


  1. 升级过程出现namenode启动失败问题,

java.io.IOException:

File system image contains an old layout version -51.

An upgrade to version -55 is required.

Please restart NameNode with the "-rollingUpgrade started" option if a rolling upgraded is already started; or restart NameNode with the "UPGRADE" to start a new upgrade.


手动到master节点启动后,停掉,再通过web页面重启后正常

su - hdfs -c "hdfs --config /var/run/cloudera-scm-agent/process/XXX-hdfs-NAMENODE namenode -upgrade"

2.另一个可能出现的报错:

 Get corrupt file blocks returned error: Cannot run listCorruptFileBlocks because replication queues have not been initialized.

删掉namenode节点的previous/目录即可

3. 由于前一次安装socket文件(/var/run/hdfs-sockets)没有正常删除,造成datanode启动失败,手动修改其权限为root解决



参考链接及文档:

报错解决(可能要翻墙):http://www.abcn.net/2014/04/upgrade-from-cdh5-beta2-to-cdh5-ga.html

官方在线文档:http://www.cloudera.com/content/cloudera/en/documentation.html

CDH官方升级文档:http://www.cloudera.com/content/cloudera-content/cloudera-docs/CM5/latest/Cloudera-Manager-Managing-Clusters/cm5mc_upgrade_tocdh5_using_parcels.html



© 著作权归作者所有

上一篇: llvm 备忘
wennan
粉丝 3
博文 67
码字总数 12653
作品 0
海淀
私信 提问
加载中

评论(0)

0009-如何升级Cloudera Manager和CDH

1.文档编写目的 本文档讲述如何升级Cloudera Manager和CDH,通过本文档,您将学习到以下知识: 1.如何对Cloudera Manager进行停机升级 2.如何对CDH进行停机升级 3.如何在不影响集群作业的情况...

Hadoop实操
2018/11/15
56
0
Cloudera Manager安装部署

1:下载jdk1.8 2:新建/usr/java文件夹 将jdk-8u11-linux-x64.tar.gz放到该文件夹中,并将工作目录切换到/usr/java目录下。如下图所示: 解压 tar -xzvf jdk-8u11-linux-x64.tar.gz 3:配置环...

罗文浩
2016/01/29
2.7K
3
【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过...

雪饼
2018/01/10
4.1K
0
Cloudera Manager5及CDH5离线安装说明

关于技术选型 --- http://www.tuicool.com/articles/7RRrie 同时可参考: http://www.doc88.com/p-0042075356791.html 1. 概述 本文概述了在CentOS6环境下,离线安装Cloudera Manager5(以下称...

强子哥哥
2015/10/23
1.1K
0
CDH集群搭建步骤

CDH集群搭建步骤详细文档 一、关于CDH和Cloudera Manager CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hado...

四京
2017/06/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

0228 我的潘多拉

我的潘多拉 从一个故事说起。<br />从前,有个Java程序员非常喜欢写程序,喜欢研究源码,读英文文档。但是它在一家小公司里工作,公司的技术栈很陈旧。<br /> <br />单个系统代码中含有很多的...

李福春carter
今天
18
0
OSChina 周六乱弹 —— 屁会不会传染病毒

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《ハレハレヤ(朗朗晴天)》- 猫瑾 手机党少年们想听歌,请使劲儿戳(这里) @空格...

小小编辑
今天
63
1
两个值得注意的问题

对成员变量的操作只能放在方法中,方法可以对成员变量和方法体中自己定义的局部 变量进行操作.在定义类的成员变量时可以同时赋予初值,如 class A { int a=12; float b=12.56f; } 但是不可以这...

咔啡
今天
27
0
第三章 分布式服务框架的选择

1.大项目工程且多人维护的弊端 (1)项目团队协同成本高,业务响应越来越慢 (2)应用复杂度已超出人的认知负载(向杂乱的电线一样) (3)错误难于隔离(一个模块出错,整个系统挂掉) (4...

zxx901221
今天
68
0
eclipse 上传jar到远程仓库

使用maven的项目中,有时需要把本地的项目打成jar包上传到mevan仓库。 操作如下: 前提:pom文件中配置好远程库的地址,否则会报错 一、将maven 中的settings文件配置好用户名和密码,如下:...

文文1
昨天
63
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部