文档章节

CM5.10 离线安装

柯里昂
 柯里昂
发布于 2017/08/29 13:56
字数 922
阅读 31
收藏 0

规划:

192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2

在 192.168.1.160 cm-server 执行如下操作

# 配置 桥接 ip
# DNS 8.8.8.8
# 开启ntp
setup
# 确认设置是否正确
vim /etc/sysconfig/network
# 重启服务生效
service network restart
yum install rpcbind
sudo service rpcbind start

# hue 安装需2个依赖 ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
yum install -y libxslt.x86_64
yum install -y libxml2-python
# 关闭SElinux
setenforce 0
vi /etc/selinux/config  # 设置SELINUX=disabled
# 关防火墙
service iptables stop # 重启后失效
chkconfig iptables off # 禁用防火墙
# ntpd 开机启动
chkconfig ntpd on
# 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 
# 
echo "vm.swappiness=10" >> /etc/sysctl.conf

# 将如下代码 加入 /etc/profile
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 确保hosts如下所示
vi /etc/hosts
127.0.0.1 localhost
192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2
# 安装JDK
jdk 最好安装在/usr/java/jdk1.8 等路径下
# 配置环境变量

将160的环境复制到其他几个节点上,若需要虚拟机,可直接克隆

# vm ware 复制导致eth0不可用,解决方案 请 移步至 
https://my.oschina.net/corleone/blog/817423
ssh 免密互信 
也请移步至:https://my.oschina.net/corleone/blog/817423
搜索ssh 
# 160 上默认为对时服务
vi /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server asia.pool.ntp.org perfer   
 
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 重启ntp  服务
service ntpd restart
# 其他agent 服务器以160 为对时服务
vim /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置时间服务器为本地的时间服务器
server 192.168.1.160
restrict 192.168.1.160 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 先手动对时
ntpdate -u 192.168.1.160
# 重启服务
在160中安装mysql,CM会用到
mysql 安装 请移步到:https://my.oschina.net/corleone/blog/830855
# 若mysql 安装没问题,进入mysql 命令行
mysql -u root -p
# 输入密码后回车。
在执行
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

alter database hive character set latin1;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此,环境已经准备好,开始安装CM

# 将cloudera-manager-el6-cm5.10.2_x86_64.tar.gz、mysql-connector-java-5.1.35.jar、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1、manifest.json、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel 上传到cm-server的/tmp目录下

tar zxvf /tmp/cloudera-manager-el6-cm5.10.2_x86_64.tar.gz -C /opt/

# 复制 mysql connect
cp /tmp/mysql-connector-java-5.1.35.jar /opt/cm-5.10.2/share/cmf/lib/

# 在cm-server 初始化 mysql 数据库,其中 -proot 的 root是mysql 的密码
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

# 修改 agent 的 host
vi /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
修改内容如下:
server_host=cm-server
# 同步到其他 agent 节点
scp -r /opt/cm-5.10.2/ root@nn1:/opt/
scp -r /opt/cm-5.10.2/ root@nn2:/opt/
scp -r /opt/cm-5.10.2/ root@dn1:/opt/
scp -r /opt/cm-5.10.2/ root@dn2:/opt/
# 在每个agent节点 新建 cloudera-scm用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
# 将需要的文件复制到 cm-server /opt/cloudera/parcel-repo/ 下
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
cp /tmp/manifest.json /opt/cloudera/parcel-repo/
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel /opt/cloudera/parcel-repo/
# 在 cm-server 中 启动 scm-server 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
# 查看日志
tail -f /opt/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log 
# 在 nn1,nn2,dn1,dn2中启动 agent 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start
tail -f /opt/cm-5.10.2/log/cloudera-scm-agent/cloudera-scm-agent.log 

参考1:

# 在内网访问 http://192.168.1.160:7180/
# 后续内容,网络上很多。可一直下一步。

# hive 需要用到mysql-connector.jar
# 需放在 /opt/cloudera/parcels/CDH/lib/hive/lib

# Hive Metastore Server 启动失败:
# message:Version information not found in metastore.
# 解决方案:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

# 若遇到失败,需要重新安装CM时,
rm -rf /opt/cm-5.10.2/ &&  rm -rf /opt/cloudera/
# 将mysql 中数据库清理干净即可

© 著作权归作者所有

柯里昂
粉丝 25
博文 175
码字总数 83345
作品 0
徐汇
技术主管
私信 提问
加载中

评论(0)

与 Oh My Zsh 不可错过的邂逅:如何离线安装 Oh My Zsh

一、引言 有兴趣玩过 Oh My Zsh 的人,都无法舍弃对于 Oh My Zsh 的喜爱,它是一个 zsh 配置框架。而 zsh 又是有别于 bash 的 shell,zsh 的功能相当强大,可配置性非常高。通过 zsh + Oh M...

曾经去过跨越一个小时的地方
03/31
0
0
UE4基础:离线安装方法(附UE4.25.0离线安装包下载)

注意:离线安装是指不用通过Epic的客户端下载巨大的安装包,但是某些步骤还是需要网络连接的。并且Epic的账号也是需要的。 下载地址见文章最下方 文章目录 为什么要离线安装? 离线安装并不是...

开发游戏的老王
05/18
0
0
centos7 离线安装神器yumdownloader

作为一个运维人员,有时候公司的服务器外网权限控制的很死,安装系统离线源之外的工具,会感到非常头疼,因为离线rpm安装的话,有很多依赖需要下载安装。 今天以离线安装ansible为例,与大家...

贫民窟里的程序高手
03/26
0
0
Visual Studio 2017各版本安装包离线下载、安装全解析

https://blog.csdn.net/h8178/article/details/78280202 Visual Studio 2017采用了新的模块化安装方案,所以微软官方并未提供ISO镜像,但是官方提供了如何进行离线下载的方案给需要进行离线安...

alps_01
02/12
0
0
在eclipse中安装 Activiti Designer插件

转: Activiti系列——如何在eclipse中安装 Activiti Designer插件 这两天在评估jbpm和Activiti,需要安装一个Activiti Designer插件试用一下。 一、在线安装 从《Activiti实战》了解到可以通...

osc_xrbb1rex
2019/02/12
4
0

没有更多内容

加载失败,请刷新页面

加载更多

直接显示StackOverflow的答题日期, 增加评论区回复的时间显示 ,修改时间显示到小时分。

// ==UserScript==// @name 直接显示StackOverflow的答题日期, 增加评论区回复的时间显示 ,修改时间显示到小时分。// @namespace http://tampermonkey.net/// @version ...

FalconChen
今天
36
0
Shader笔记_005 纹理

纹理最初的目的就是使用一张图片来控制模型的外观,通过纹理映射技术 我们可以把一张图粘贴在物体表面,逐纹素的控制模型的颜色。 通常美术建模的时候也会在软件里利用纹理展开技术把纹理展开成...

STONE-CITY
今天
12
0
iOS MVVM 与RAC结合使用

MVVM配合 RAC 更能发挥的淋漓尽致。 我们把 MVVM 第一篇的例子 KVO 的事件 替换成 配合RAC 框架使用, OC的话直接导入 : pod 'ReactiveObjC' Swift 直接用 RXSwift就可以。 把 ViewModel里加...

T型人才追梦者
今天
22
1
OSChina 周一乱弹 —— 影响心情的三座大山

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《浮生(inst.)》- 忘乡 / 墨凡悦 手机党少年们想听歌,请使劲儿戳(这里) @凝小紫...

小小编辑
今天
57
0
Unity中头发渲染

头发与普通PBR 材质最大的区别是 头发是各项异性的高光, 参考实现主要为下面文章 http://web.engr.oregonstate.edu/~mjb/cs519/Projects/Papers/HairRendering.pdf 头发包含 2个高光,以及高...

liyong2
今天
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部