文档章节

CM5.10 离线安装

柯里昂
 柯里昂
发布于 2017/08/29 13:56
字数 922
阅读 13
收藏 0

规划:

192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2

在 192.168.1.160 cm-server 执行如下操作

# 配置 桥接 ip
# DNS 8.8.8.8
# 开启ntp
setup
# 确认设置是否正确
vim /etc/sysconfig/network
# 重启服务生效
service network restart
yum install rpcbind
sudo service rpcbind start

# hue 安装需2个依赖 ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
yum install -y libxslt.x86_64
yum install -y libxml2-python
# 关闭SElinux
setenforce 0
vi /etc/selinux/config  # 设置SELINUX=disabled
# 关防火墙
service iptables stop # 重启后失效
chkconfig iptables off # 禁用防火墙
# ntpd 开机启动
chkconfig ntpd on
# 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 
# 
echo "vm.swappiness=10" >> /etc/sysctl.conf

# 将如下代码 加入 /etc/profile
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 确保hosts如下所示
vi /etc/hosts
127.0.0.1 localhost
192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2
# 安装JDK
jdk 最好安装在/usr/java/jdk1.8 等路径下
# 配置环境变量

将160的环境复制到其他几个节点上,若需要虚拟机,可直接克隆

# vm ware 复制导致eth0不可用,解决方案 请 移步至 
https://my.oschina.net/corleone/blog/817423
ssh 免密互信 
也请移步至:https://my.oschina.net/corleone/blog/817423
搜索ssh 
# 160 上默认为对时服务
vi /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server asia.pool.ntp.org perfer   
 
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 重启ntp  服务
service ntpd restart
# 其他agent 服务器以160 为对时服务
vim /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置时间服务器为本地的时间服务器
server 192.168.1.160
restrict 192.168.1.160 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 先手动对时
ntpdate -u 192.168.1.160
# 重启服务
在160中安装mysql,CM会用到
mysql 安装 请移步到:https://my.oschina.net/corleone/blog/830855
# 若mysql 安装没问题,进入mysql 命令行
mysql -u root -p
# 输入密码后回车。
在执行
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

alter database hive character set latin1;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此,环境已经准备好,开始安装CM

# 将cloudera-manager-el6-cm5.10.2_x86_64.tar.gz、mysql-connector-java-5.1.35.jar、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1、manifest.json、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel 上传到cm-server的/tmp目录下

tar zxvf /tmp/cloudera-manager-el6-cm5.10.2_x86_64.tar.gz -C /opt/

# 复制 mysql connect
cp /tmp/mysql-connector-java-5.1.35.jar /opt/cm-5.10.2/share/cmf/lib/

# 在cm-server 初始化 mysql 数据库,其中 -proot 的 root是mysql 的密码
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

# 修改 agent 的 host
vi /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
修改内容如下:
server_host=cm-server
# 同步到其他 agent 节点
scp -r /opt/cm-5.10.2/ root@nn1:/opt/
scp -r /opt/cm-5.10.2/ root@nn2:/opt/
scp -r /opt/cm-5.10.2/ root@dn1:/opt/
scp -r /opt/cm-5.10.2/ root@dn2:/opt/
# 在每个agent节点 新建 cloudera-scm用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
# 将需要的文件复制到 cm-server /opt/cloudera/parcel-repo/ 下
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
cp /tmp/manifest.json /opt/cloudera/parcel-repo/
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel /opt/cloudera/parcel-repo/
# 在 cm-server 中 启动 scm-server 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
# 查看日志
tail -f /opt/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log 
# 在 nn1,nn2,dn1,dn2中启动 agent 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start
tail -f /opt/cm-5.10.2/log/cloudera-scm-agent/cloudera-scm-agent.log 

参考1:

# 在内网访问 http://192.168.1.160:7180/
# 后续内容,网络上很多。可一直下一步。

# hive 需要用到mysql-connector.jar
# 需放在 /opt/cloudera/parcels/CDH/lib/hive/lib

# Hive Metastore Server 启动失败:
# message:Version information not found in metastore.
# 解决方案:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

# 若遇到失败,需要重新安装CM时,
rm -rf /opt/cm-5.10.2/ &&  rm -rf /opt/cloudera/
# 将mysql 中数据库清理干净即可

© 著作权归作者所有

共有 人打赏支持
柯里昂
粉丝 24
博文 168
码字总数 81139
作品 0
徐汇
技术主管
DDC系列 - 离线安装UCP和DTR

1 离线安装UCP 1.1 可用版本 Version Package URL 3.0.2 Linux https://packages.docker.com/caas/ucpimages3.0.2.tar.gz 3.0.1 Linux https://packages.docker.com/caas/ucpimages3.0.1.tar......

羽客
06/28
0
0
Visual Studio 2017 各版本安装包离线下载、安装全解析

关于 Visual Studio 2017 各版本安装包离线下载、更新和安装的方法以及通过已下载版本减少下载量的办法。 微软最近发布了正式版 Visual Studio 2017 并公开了其下载方式,不过由于 VS2017 采...

局长
2017/03/10
44.4K
44
eclipse 离线、在线安装插件

方法一:在线安装(可能因网络等原因安装失败) 打开eclipse,在Help->Install New Software后的弹出窗点击add按钮。 在弹出窗口的文本框里输入一下内容 Name:Activiti BPMN 2.0 designer ...

废柴
04/20
0
0
怎样下载Google Chrome浏览器离线安装包

最近Chrome的Flash不能用了,并经常弹出烦人的警告,升级到最新版可以解决。 Windows 32位Chrome浏览器离线安装包 Windows 64位Chrome浏览器离线安装包 Mac版Chrome浏览器离线安装包参考:怎...

黄冠能
2015/07/29
2.4K
3
zjzdy/Offline-small-search

#Offline-small-search (离线小搜) 离线搜索软件,现支持离线搜题,搜古诗文,搜开发文档,等等.可自行打包离线包. 声明:所有离线包版权归其所有者所有,与本软件及软件开发人员无关,本软件仅提供...

zjzdy
2016/03/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

No compiler is provided in this environment

maven 编译报错No compiler is provided in this environment 这个是由于maven在编译的过程中回使用到jdk ,它只会在环境变量中去寻找JAVA_HOME,如果没找到JAVA_HOME就会报这个错误。只要重...

优雅的胖子
9分钟前
0
0
(图文)最详细的XAMPP的安装及使用教程

XAMPP的安装及使用教程 1、简介 2、安装运行 3、配置Apache 4、配置MySQL 5、测试 6、修改MySQL默认密码 7、部署 XAMPP的安装及使用教程 1、简介 XAMPP(Apache+MySQL+PHP+PERL)是一个功能强...

梦梦阁
9分钟前
0
0
python 批量JSON数据,插入数据库

newList=[{"link":"https://www.1.com/","ga_tag":"xvideos","image":"http://static.2.mobi/views/images/xvideos.png?x-oss-process=style/120"},{"link":"https://www.3.com/","ga_tag":"......

Liens
11分钟前
0
0
mediarecord

mediarecorder what=268435556 -1007 解决方案 mPreviewSize = mCamera.getParameters().getPreferredPreviewSizeForVideo();...

zdglf
14分钟前
0
0
安装zookeeper和kafaka

安装zookeeper和kafaka http://mirrors.hust.edu.cn/apache/zookeeper/ http://mirrors.hust.edu.cn/apache/zookeeper/zookeeper-3.4.10/ http://mirrors.hust.edu.cn/apache/zookeeper/zoo......

蜗牛奔跑
15分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部