文档章节

CM5.10 离线安装

柯里昂
 柯里昂
发布于 2017/08/29 13:56
字数 922
阅读 12
收藏 0
点赞 0
评论 0

规划:

192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2

在 192.168.1.160 cm-server 执行如下操作

# 配置 桥接 ip
# DNS 8.8.8.8
# 开启ntp
setup
# 确认设置是否正确
vim /etc/sysconfig/network
# 重启服务生效
service network restart
yum install rpcbind
sudo service rpcbind start

# hue 安装需2个依赖 ImportError: libxslt.so.1: cannot open shared object file: No such file or directory
yum install -y libxslt.x86_64
yum install -y libxml2-python
# 关闭SElinux
setenforce 0
vi /etc/selinux/config  # 设置SELINUX=disabled
# 关防火墙
service iptables stop # 重启后失效
chkconfig iptables off # 禁用防火墙
# ntpd 开机启动
chkconfig ntpd on
# 检查是否设置成功:chkconfig --list ntpd其中2-5为on状态就代表成功。 
# 
echo "vm.swappiness=10" >> /etc/sysctl.conf

# 将如下代码 加入 /etc/profile
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled
# 确保hosts如下所示
vi /etc/hosts
127.0.0.1 localhost
192.168.1.160 cm-server
192.168.1.161 nn1
192.168.1.162 nn2
192.168.1.163 dn1
192.168.1.164 dn2
# 安装JDK
jdk 最好安装在/usr/java/jdk1.8 等路径下
# 配置环境变量

将160的环境复制到其他几个节点上,若需要虚拟机,可直接克隆

# vm ware 复制导致eth0不可用,解决方案 请 移步至 
https://my.oschina.net/corleone/blog/817423
ssh 免密互信 
也请移步至:https://my.oschina.net/corleone/blog/817423
搜索ssh 
# 160 上默认为对时服务
vi /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
restrict default nomodify notrap 
server asia.pool.ntp.org perfer   
 
server 0.asia.pool.ntp.org
server 1.asia.pool.ntp.org
server 2.asia.pool.ntp.org
server 3.asia.pool.ntp.org
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 重启ntp  服务
service ntpd restart
# 其他agent 服务器以160 为对时服务
vim /etc/ntp.conf
# 以下为内容
driftfile /var/lib/ntp/drift
restrict 127.0.0.1
restrict -6 ::1
# 配置时间服务器为本地的时间服务器
server 192.168.1.160
restrict 192.168.1.160 nomodify notrap noquery
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10
includefile /etc/ntp/crypto/pw
keys /etc/ntp/keys
# 先手动对时
ntpdate -u 192.168.1.160
# 重启服务
在160中安装mysql,CM会用到
mysql 安装 请移步到:https://my.oschina.net/corleone/blog/830855
# 若mysql 安装没问题,进入mysql 命令行
mysql -u root -p
# 输入密码后回车。
在执行
#hive
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

alter database hive character set latin1;

#activity monitor
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

至此,环境已经准备好,开始安装CM

# 将cloudera-manager-el6-cm5.10.2_x86_64.tar.gz、mysql-connector-java-5.1.35.jar、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1、manifest.json、CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel 上传到cm-server的/tmp目录下

tar zxvf /tmp/cloudera-manager-el6-cm5.10.2_x86_64.tar.gz -C /opt/

# 复制 mysql connect
cp /tmp/mysql-connector-java-5.1.35.jar /opt/cm-5.10.2/share/cmf/lib/

# 在cm-server 初始化 mysql 数据库,其中 -proot 的 root是mysql 的密码
/opt/cm-5.10.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm

# 修改 agent 的 host
vi /opt/cm-5.10.2/etc/cloudera-scm-agent/config.ini
修改内容如下:
server_host=cm-server
# 同步到其他 agent 节点
scp -r /opt/cm-5.10.2/ root@nn1:/opt/
scp -r /opt/cm-5.10.2/ root@nn2:/opt/
scp -r /opt/cm-5.10.2/ root@dn1:/opt/
scp -r /opt/cm-5.10.2/ root@dn2:/opt/
# 在每个agent节点 新建 cloudera-scm用户
useradd --system --home=/opt/cm-5.10.2/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
# 将需要的文件复制到 cm-server /opt/cloudera/parcel-repo/ 下
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha1 /opt/cloudera/parcel-repo/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel.sha
cp /tmp/manifest.json /opt/cloudera/parcel-repo/
cp /tmp/CDH-5.10.2-1.cdh5.10.2.p0.5-el6.parcel /opt/cloudera/parcel-repo/
# 在 cm-server 中 启动 scm-server 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-server start
# 查看日志
tail -f /opt/cm-5.10.2/log/cloudera-scm-server/cloudera-scm-server.log 
# 在 nn1,nn2,dn1,dn2中启动 agent 服务
/opt/cm-5.10.2/etc/init.d/cloudera-scm-agent start
tail -f /opt/cm-5.10.2/log/cloudera-scm-agent/cloudera-scm-agent.log 

参考1:

# 在内网访问 http://192.168.1.160:7180/
# 后续内容,网络上很多。可一直下一步。

# hive 需要用到mysql-connector.jar
# 需放在 /opt/cloudera/parcels/CDH/lib/hive/lib

# Hive Metastore Server 启动失败:
# message:Version information not found in metastore.
# 解决方案:
datanucleus.autoCreateSchema=true
datanucleus.metadata.validate=false
hive.metastore.schema.verification=false

# 若遇到失败,需要重新安装CM时,
rm -rf /opt/cm-5.10.2/ &&  rm -rf /opt/cloudera/
# 将mysql 中数据库清理干净即可

© 著作权归作者所有

共有 人打赏支持
柯里昂
粉丝 22
博文 160
码字总数 78816
作品 0
徐汇
技术主管
Visual Studio 2017 各版本安装包离线下载、安装全解析

关于 Visual Studio 2017 各版本安装包离线下载、更新和安装的方法以及通过已下载版本减少下载量的办法。 微软最近发布了正式版 Visual Studio 2017 并公开了其下载方式,不过由于 VS2017 采...

局长 ⋅ 2017/03/10 ⋅ 44

eclipse 离线、在线安装插件

方法一:在线安装(可能因网络等原因安装失败) 打开eclipse,在Help->Install New Software后的弹出窗点击add按钮。 在弹出窗口的文本框里输入一下内容 Name:Activiti BPMN 2.0 designer ...

废柴 ⋅ 04/20 ⋅ 0

怎样下载Google Chrome浏览器离线安装包

最近Chrome的Flash不能用了,并经常弹出烦人的警告,升级到最新版可以解决。 Windows 32位Chrome浏览器离线安装包 Windows 64位Chrome浏览器离线安装包 Mac版Chrome浏览器离线安装包参考:怎...

黄冠能 ⋅ 2015/07/29 ⋅ 3

zjzdy/Offline-small-search

#Offline-small-search (离线小搜) 离线搜索软件,现支持离线搜题,搜古诗文,搜开发文档,等等.可自行打包离线包. 声明:所有离线包版权归其所有者所有,与本软件及软件开发人员无关,本软件仅提供...

zjzdy ⋅ 2016/03/07 ⋅ 0

eclipse中testNg离线安装

发现很多同学和我一样无法在线安装testNg,现在分享一个离线安装的方法,及安装文件,希望能够帮到大家。 1.下载附件,并解压。(后面有),或者百度网盘http://pan.baidu.com/s/1i3y1QtR 2.将...

helloOne ⋅ 2016/03/16 ⋅ 0

安装Eclipse的SVN插件(离线安装)

安装Eclipse的SVN插件(离线安装) 1、首先去到官网 http://subclipse.tigris.org/servlets/ProjectProcess?pageID=p4wYuA 2、选定版本 如(Links for 1.10.x Release),因为离线安装所以选...

steven ⋅ 2016/01/13 ⋅ 0

可离线的便携包管理系统--Camicri Cube

Camicricube 是可离线的便携包管理系统。 众所周知,在系统中使用新立得包管理工具或软件中心下载和安装应用程序的时候,我们必须得有互联网连接。但,如果您刚好没有网络或者是网络速度死慢...

terenceyhj ⋅ 2014/10/23 ⋅ 0

RedHat 离线安装 docker 遇到的问题汇总

一、引言 最近项目组正好有了平台转移到 docker 上去的需求,所以临时学习了下 docker。在自己的机器上学习安装 docker 都是非常轻松的(前提是要么你有梯子,要么你就挂载阿里的服务线路加速...

u012814856 ⋅ 05/23 ⋅ 0

ZStack v1.7.2 发布,修复潜在快照丢失风险问题

ZStack 1.7.2 于2016年10月28日正式发布。 本版本修复了一个可能导致主存储上的快照元数据跟数据库中的快照元数据不一致,从而带来潜在的快照丢失风险问题。我们强烈建议使用主存储类型为:本...

局长 ⋅ 2016/10/28 ⋅ 0

离线安装eclipse 的SVN或者 activiti插件

svn的 http://blog.csdn.net/wenwenxiong/article/details/51674235 activitid的 https://my.oschina.net/githubhty/blog/690269?p={{currentPage+1}} 同时还有一种方式: 就是 将插件的.zi......

之渊 ⋅ 2016/09/20 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Thrift RPC实战(二) Thrift 网络服务模型

TServer类层次体系 TSimpleServer/TThreadPoolServer是阻塞服务模型 TNonblockingServer/THsHaServer/TThreadedSelectotServer是非阻塞服务模型(NIO) 1 TServer抽象类的定义 内部静态类Args的...

lemonLove ⋅ 12分钟前 ⋅ 0

vim命令用法

第五章 vim命令 vim和vi几乎是一样的,唯一的区别就是当编辑一个文本时,使用vi不会显示颜色,而使用vim会显示颜色。 vim有三个模式:一般模式,编辑模式,命令模式。 系统最小化安装时没有安...

弓正 ⋅ 13分钟前 ⋅ 0

MyBatis源码解读之配置

1. 目的 本文主要介绍MyBatis配置文件解析,通过源码解读mybatis-config.xml(官方默认命名)、Mapper.xml 与Java对象的映射。 2. MyBatis结构 查看大图 MyBatis结构图,原图实在太模糊了,所以...

无忌 ⋅ 17分钟前 ⋅ 0

Ignite的jdbc与网格的连接方式的查询性能对比

环境: 数据量100万 Ignite2.5 Windows10 8g jdbc方式连接 import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; i......

仔仔1993 ⋅ 32分钟前 ⋅ 0

收集自网络的wordpress 分页导航的代码教程(全网最全版)

wordpress 分页导航是用来切换文章的一个功能,添加了 wordpress 分页导航后,用户即可自由到达指定的页面数浏览分类文章,而这样的一个很简单功能却有很多朋友在用插件:WP-PageNavi,插件的...

Rhymo-Wu ⋅ 48分钟前 ⋅ 0

微服务 WildFly Swarm 入门

Hello World 就像前面章节中的其他框架一样,我们希望添加一些基本的 Hello-world 功能,然后在其上逐步添加更多的功能。让我们从在我们的项目中创建一个 HolaResources 开始。您可以使用您的...

woshixin ⋅ 54分钟前 ⋅ 0

Maven的安装和Eclipse的配置

1. 下载Maven 下载地址 2. 解压压缩包,放到自己习惯的硬盘中 此处我将其放到了 D:\Tools 目录下。 3. 配置环境变量 右键此电脑 -> 属性 -> 高级系统设置 -> 环境变量。 在系统变量中新建,变...

影狼 ⋅ 今天 ⋅ 0

python pip使用国内镜像的方法

国内源 清华:https://pypi.tuna.tsinghua.edu.cn/simple 阿里云:http://mirrors.aliyun.com/pypi/simple/ 中国科技大学 https://pypi.mirrors.ustc.edu.cn/simple/ 华中理工大学:http://......

良言 ⋅ 今天 ⋅ 0

对于url变化的spa应该如何使用微信jssdk

使用vue单页面碰上微信jssdk config验证失败的坑。第一次成功 之后切换页面全部失败,找到了解决方法,第一次验证成功后保存验证信息 切换页面时验证信息直接拿来用,加一个wx.error() 失败时...

孙冠峰 ⋅ 今天 ⋅ 0

Spring Cloud Gateway 一般集成

SCF发布,带来很多新东西,不过少了点教程,打开方式又和以前的不一样,比如这个SCG,压根就没有入门指导,所以这里写一个,以备后用。 一、集成 pom.xml <dependency> <groupI...

kut ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部