文档章节

CDH安装笔记

忘忧草1181
 忘忧草1181
发布于 2017/01/18 00:16
字数 568
阅读 331
收藏 16

系统环境准备

1、网络配置

vi /etc/sysconfig/network

vi /etc/hosts

 

2、ssh免密钥登录

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

scp /etc/hosts node3:/etc/

cat /tmp/id_dsa.pub >> authorized_keys

 

3、防火墙关闭

service iptables stop

chkconfig iptables off

 

4、SELINUX关闭

setenforce 0

vi /etc/selinux/config (SELINUX=disabled)

 

5、安装JDK配置环境变量

vi /etc/profile

export JAVA_HOME=/opt/jdk

export PATH=$PATH:$JAVA_HOME/bin:

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

 

6、安装NTP

设置开机启动 chkconfig ntpd on

设置时间同步

ntpdate -u s2m.time.edu.cn或ntpdate -u time.nist.gov

 

7、安装配置mysql(在server机器上安装mysql)

yum install mysql-server

service mysqld start

chkconfig mysqld on

chkconfig --list mysqld

use mysql;

select host, user from user;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123' WITH GRANT OPTION;

delete from user where host != '%';

flush privileges;

 

8、下载第三方依赖包

yum install chkconfig python bind-util psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb -y

 

node1 server
agent
mysql 依赖包
node2 agent   依赖包
node3 agent   依赖包

 

CM安装

1、COPY文件

mkdir /opt/cloudera-manager

tar zxvf cloudera-manager*.tar.gz -C /opt/cloudera-manager

 

2、创建用户cloudera-scm

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

下载cm网址

http://archive.cloudera.com/cm5/cm/5/

 

下载cdh5

http://archive.cloudera.com/cdh5/parcels/

 

3、配置CM Agent

修改文件

vi /opt/cloudera-manager/cm-5.4.7/etc/cloudera-scm-agent/config.ini

 

修改节点名称server_host

 

4、配置cm server数据库

mkdir /usr/share/java

上传mysql的jar包,名称必须修改成mysql-connector-java.jar

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

cd /opt/cloudera-manager/cm-5.4.7/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

 

提示All done, your SCM database is configured correctly!

则表示成功

 

5、创建Parcel目录

server节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

agent节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

6、制作CDH本地源

manifest.json

CDH-5.9.0-1.cdh5.9.0.p0.23-el5.parcel.sha1

CDH-5.9.0-1.cdh5.9.0.p0.23-el5.parcel

文件移动到/opt/cloudera/parcel-repo目录下

 

7、启动CM Server、Agent

cd /opt/cloudera-manager/cm-5.4.7/etc/init.d/

./cloudera-scm-server start

./cloudera-scm-agent start

 

查看日志

tail -f /opt/cloudera-manager/cm-5.4.7/log/cloudera-scm-server/cloudera-scm-server.log

 

登录

http://ip:7180

echo 10 > /proc/sys/vm/swappiness

echo never > /sys/kernel/mm/transparent_hugepage/defrag

 

创建hive数据库

create database hive DEFAULT CHARACTER SET utf8;

grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

 

创建oozie数据库

create database oozie DEFAULT CHARACTER SET utf8;

grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

 

创建sqoop数据库

create database sqoop DEFAULT CHARACTER SET utf8;

grant all on sqoop.* TO 'sqoop'@'%' IDENTIFIED BY 'sqoop';

以上内容参考北京尚学堂视频课程

 

 

 

© 著作权归作者所有

忘忧草1181
粉丝 1
博文 2
码字总数 791
作品 0
福州
私信 提问
加载中

评论(1)

auferack08
auferack08
这也叫笔记。。。。。。
CDH集群搭建步骤

CDH集群搭建步骤详细文档 一、关于CDH和Cloudera Manager CDH (Cloudera's Distribution,including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hado...

四京
2017/06/13
0
0
Cloudera CDH 离线安装与使用

CDH 在线安装方法如下,方便,但是由于在国内,访问这个网站的速度很慢,并不快捷。 在线安装Cloudera Manager服务器 # 配置cloudera-cdh源和cloudera-manager源 # cloudera-manager wget ht...

hsbxxl
2018/05/17
0
0
cm5.4和cdh5.4安装

本文例子使用单机安装 操作系统: centos6.5 内存:4G 安装中文支持包(可选操作) yum groupinstall "Chinese Support" 修改vim /etc/sysconfig/i18n 更新centos系统时间(可选操作) 1、关闭...

penngo
2015/10/14
2.2K
3
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0
【干货】离线安装Cloudera Manager 5和CDH5(最新版5.13.0)详细过程

—— 原文发布于本人的微信公众号“大数据与人工智能Lab”(BigdataAILab),欢迎关注。 Cloudera是Hadoop生态系统中,规模最大、知名度最高的公司。Cloudera对Hadoop进行了封装,简化安装过...

雪饼
2018/01/10
3K
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
30分钟前
2
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部