文档章节

CM5.10 离线安装

柯里昂
 柯里昂
发布于 2017/08/29 13:56
字数 922
阅读 15
收藏 0

规划:

192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2

在 192.168.1.160 cm-server 执行如下操作

# 配置 桥接 ip
# DNS 8.8.8.8
# 开启ntp
setup
# 确认设置是否正确
vim /etc/sysconfig/network
# 重启服务生效
service network restart
yum install rpcbind
sudo service rpcbind start

# hue 安装需2个依赖 ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
yum install -y libxslt.x86_64
yum install -y libxml2-python
# 关闭SElinux
setenforce 0
vi /etc/selinux/config  # 设置SELINUX=disabled
# 关防火墙
service iptables stop # 重启后失效
chkconfig iptables off # 禁用防火墙
# ntpd 开机启动
chkconfig ntpd on
# 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 
# 
echo "vm.swappiness=10" >> /etc/sysctl.conf

# 将如下代码 加入 /etc/profile
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 确保hosts如下所示
vi /etc/hosts
127.0.0.1 localhost
192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2
# 安装JDK
jdk 最好安装在/usr/java/jdk1.8 等路径下
# 配置环境变量

将160的环境复制到其他几个节点上,若需要虚拟机,可直接克隆

# vm ware 复制导致eth0不可用,解决方案 请 移步至 
https://my.oschina.net/corleone/blog/817423
ssh 免密互信 
也请移步至:https://my.oschina.net/corleone/blog/817423
搜索ssh 
# 160 上默认为对时服务
vi /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server asia.pool.ntp.org perfer   
 
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 重启ntp  服务
service ntpd restart
# 其他agent 服务器以160 为对时服务
vim /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置时间服务器为本地的时间服务器
server 192.168.1.160
restrict 192.168.1.160 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 先手动对时
ntpdate -u 192.168.1.160
# 重启服务
在160中安装mysql,CM会用到
mysql 安装 请移步到:https://my.oschina.net/corleone/blog/830855
# 若mysql 安装没问题,进入mysql 命令行
mysql -u root -p
# 输入密码后回车。
在执行
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

alter database hive character set latin1;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此,环境已经准备好,开始安装CM

# 将cloudera-manager-el6-cm5.10.2_x86_64.tar.gz、mysql-connector-java-5.1.35.jar、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1、manifest.json、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel 上传到cm-server的/tmp目录下

tar zxvf /tmp/cloudera-manager-el6-cm5.10.2_x86_64.tar.gz -C /opt/

# 复制 mysql connect
cp /tmp/mysql-connector-java-5.1.35.jar /opt/cm-5.10.2/share/cmf/lib/

# 在cm-server 初始化 mysql 数据库,其中 -proot 的 root是mysql 的密码
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

# 修改 agent 的 host
vi /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
修改内容如下:
server_host=cm-server
# 同步到其他 agent 节点
scp -r /opt/cm-5.10.2/ root@nn1:/opt/
scp -r /opt/cm-5.10.2/ root@nn2:/opt/
scp -r /opt/cm-5.10.2/ root@dn1:/opt/
scp -r /opt/cm-5.10.2/ root@dn2:/opt/
# 在每个agent节点 新建 cloudera-scm用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
# 将需要的文件复制到 cm-server /opt/cloudera/parcel-repo/ 下
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
cp /tmp/manifest.json /opt/cloudera/parcel-repo/
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel /opt/cloudera/parcel-repo/
# 在 cm-server 中 启动 scm-server 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
# 查看日志
tail -f /opt/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log 
# 在 nn1,nn2,dn1,dn2中启动 agent 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start
tail -f /opt/cm-5.10.2/log/cloudera-scm-agent/cloudera-scm-agent.log 

参考1:

# 在内网访问 http://192.168.1.160:7180/
# 后续内容,网络上很多。可一直下一步。

# hive 需要用到mysql-connector.jar
# 需放在 /opt/cloudera/parcels/CDH/lib/hive/lib

# Hive Metastore Server 启动失败:
# message:Version information not found in metastore.
# 解决方案:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

# 若遇到失败,需要重新安装CM时,
rm -rf /opt/cm-5.10.2/ &&  rm -rf /opt/cloudera/
# 将mysql 中数据库清理干净即可

© 著作权归作者所有

共有 人打赏支持
柯里昂
粉丝 25
博文 173
码字总数 82699
作品 0
徐汇
技术主管
私信 提问
eclipse 离线、在线安装插件

方法一:在线安装(可能因网络等原因安装失败) 打开eclipse,在Help->Install New Software后的弹出窗点击add按钮。 在弹出窗口的文本框里输入一下内容 Name:Activiti BPMN 2.0 designer ...

废柴
04/20
0
0
Visual Studio 2017 各版本安装包离线下载、安装全解析

关于 Visual Studio 2017 各版本安装包离线下载、更新和安装的方法以及通过已下载版本减少下载量的办法。 微软最近发布了正式版 Visual Studio 2017 并公开了其下载方式,不过由于 VS2017 采...

局长
2017/03/10
49.1K
44
DDC系列 - 离线安装UCP和DTR

1 离线安装UCP 1.1 可用版本 Version Package URL 3.0.2 Linux https://packages.docker.com/caas/ucpimages3.0.2.tar.gz 3.0.1 Linux https://packages.docker.com/caas/ucpimages3.0.1.tar......

羽客
06/28
0
0
国内离线安装 Chrome 扩展程序的方法

前言 Chrome 作为最流行的网页浏览器之一,少不了其丰富强大的扩展程序们的加成。但是国内无法访问 Chrome 应用商店,也就无法在线安装 Chrome 扩展有点不便。 好在 Chrome 支持离线安装扩展...

己立
10/28
0
0
Linux下离线部署Node环境和前端服务

背景说明 前端项目开发完成,需要部署在第三方服务器。由于第三方服务器是脱离公网的环境,所有的前端服务和所有的依赖都需要在离线环境中部署。记录下解决方案,希望可以帮助到有类似需求的...

Jarven
10/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
59分钟前
11
3
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
12
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
19
0

中国龙-扬科
昨天
2
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部