CM5.10 离线安装
CM5.10 离线安装
柯里昂 发表于4个月前
CM5.10 离线安装
  • 发表于 4个月前
  • 阅读 12
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

规划:

192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2

在 192.168.1.160 cm-server 执行如下操作

# 配置 桥接 ip
# DNS 8.8.8.8
# 开启ntp
setup
# 确认设置是否正确
vim /etc/sysconfig/network
# 重启服务生效
service network restart
yum install rpcbind
sudo service rpcbind start

# hue 安装需2个依赖 ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
yum install -y libxslt.x86_64
yum install -y libxml2-python
# 关闭SElinux
setenforce 0
vi /etc/selinux/config  # 设置SELINUX=disabled
# 关防火墙
service iptables stop # 重启后失效
chkconfig iptables off # 禁用防火墙
# ntpd 开机启动
chkconfig ntpd on
# 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 
# 
echo "vm.swappiness=10" >> /etc/sysctl.conf

# 将如下代码 加入 /etc/profile
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 确保hosts如下所示
vi /etc/hosts
127.0.0.1 localhost
192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2
# 安装JDK
jdk 最好安装在/usr/java/jdk1.8 等路径下
# 配置环境变量

将160的环境复制到其他几个节点上,若需要虚拟机,可直接克隆

# vm ware 复制导致eth0不可用,解决方案 请 移步至 
https://my.oschina.net/corleone/blog/817423
ssh 免密互信 
也请移步至:https://my.oschina.net/corleone/blog/817423
搜索ssh 
# 160 上默认为对时服务
vi /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server asia.pool.ntp.org perfer   
 
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 重启ntp  服务
service ntpd restart
# 其他agent 服务器以160 为对时服务
vim /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置时间服务器为本地的时间服务器
server 192.168.1.160
restrict 192.168.1.160 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 先手动对时
ntpdate -u 192.168.1.160
# 重启服务
在160中安装mysql,CM会用到
mysql 安装 请移步到:https://my.oschina.net/corleone/blog/830855
# 若mysql 安装没问题,进入mysql 命令行
mysql -u root -p
# 输入密码后回车。
在执行
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

alter database hive character set latin1;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此,环境已经准备好,开始安装CM

# 将cloudera-manager-el6-cm5.10.2_x86_64.tar.gz、mysql-connector-java-5.1.35.jar、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1、manifest.json、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel 上传到cm-server的/tmp目录下

tar zxvf /tmp/cloudera-manager-el6-cm5.10.2_x86_64.tar.gz -C /opt/

# 复制 mysql connect
cp /tmp/mysql-connector-java-5.1.35.jar /opt/cm-5.10.2/share/cmf/lib/

# 在cm-server 初始化 mysql 数据库,其中 -proot 的 root是mysql 的密码
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

# 修改 agent 的 host
vi /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
修改内容如下:
server_host=cm-server
# 同步到其他 agent 节点
scp -r /opt/cm-5.10.2/ root@nn1:/opt/
scp -r /opt/cm-5.10.2/ root@nn2:/opt/
scp -r /opt/cm-5.10.2/ root@dn1:/opt/
scp -r /opt/cm-5.10.2/ root@dn2:/opt/
# 在每个agent节点 新建 cloudera-scm用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
# 将需要的文件复制到 cm-server /opt/cloudera/parcel-repo/ 下
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
cp /tmp/manifest.json /opt/cloudera/parcel-repo/
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel /opt/cloudera/parcel-repo/
# 在 cm-server 中 启动 scm-server 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
# 查看日志
tail -f /opt/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log 
# 在 nn1,nn2,dn1,dn2中启动 agent 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start
tail -f /opt/cm-5.10.2/log/cloudera-scm-agent/cloudera-scm-agent.log 

参考1:

# 在内网访问 http://192.168.1.160:7180/
# 后续内容,网络上很多。可一直下一步。

# hive 需要用到mysql-connector.jar
# 需放在 /opt/cloudera/parcels/CDH/lib/hive/lib

# Hive Metastore Server 启动失败:
# message:Version information not found in metastore.
# 解决方案:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

# 若遇到失败,需要重新安装CM时,
rm -rf /opt/cm-5.10.2/ &&  rm -rf /opt/cloudera/
# 将mysql 中数据库清理干净即可
标签: cm offline install
共有 人打赏支持
粉丝 22
博文 117
码字总数 67227
×
柯里昂
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: