文档章节

centos7搭建CDH

泡海椒
 泡海椒
发布于 02/24 11:59
字数 996
阅读 1
收藏 0

CDH CENTOS7环境搭建
CentOS-7-x86_64-DVD-1810.iso
最大磁盘80G 内存8G
网络适配器是仅主机模式
时区选择上海  soft selection选择server with gui/右边marialDB database server2 development tool 
enable kdump关掉
security policy关掉
network &HostName
HostName CDH11
ETHERNET ON 
CONFIGURE-》geneeral auto matically connnect to this network 
192.168.119.128
ipv4 manual ->address-netmast
选择installtion destion begin installation
准备工作:
关闭防火墙
systemctl stop firewalld.service
[root@CDH11 ~]# systemctl stop firewalld.service
[root@CDH11 ~]# systemctl disable  firewalld.service
[root@CDH11 ~]# vi /etc/hosts
[root@CDH11 ~]# ssh-keygen -t rsa
[root@CDH11 ~]# ssh-copy-id -i .ssh/id_rsa.pub root@CDH11

[root@CDH11 ~]# ssh CDH11

设置主机名
安装JDK
卸载自带的jdk
[root@CDH11 ~]# rpm -qa|grep java
java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64
python-javapackages-3.4.1-11.el7.noarch
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
tzdata-java-2018e-3.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-1.8.0.181-7.b13.el7.x86_64

[root@CDH11 ~]# rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
[root@CDH11 ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.181-7.b13.el7.x86_64
[root@CDH11 ~]# rpm -e --nodeps tzdata-java-2018e-3.el7.noarch
[paohaiijiao@CDH11 opt]$ rpm -ivh jdk-8u201-linux-x64.rpm
echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment

[root@CDH11 opt]# echo JAVA_HOME="/usr/java/latest" >>/etc/enviroment
[root@CDH11 opt]# java -version
配置mysql(marial db) 数据库 
[root@CDH11 opt]# systemctl start mariadb
[root@CDH11 opt]# systemctl enable mariadb
[root@CDH11 opt]# mysql_secure_installation设置密码
创建数据库
mysql -u -p105104gou
create database hive;
create database amon;必须
create database oozie;
create database hue;

 create database sqoop;
安装数据库的驱动程序需要使用yum
设置-》光盘-》已连接
[root@CDH11 opt]# mkdir /root/cdroom/
[root@CDH11 opt]# mount /dev/cdrom /root/cdroom/
mount: /dev/sr0 is write-protected, mounting read-only
删除所有的repo
[root@CDH11 opt]# cd /etc/yum.repos.d/
[root@CDH11 yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo    CentOS-Vault.repo
CentOS-CR.repo    CentOS-fasttrack.repo  CentOS-Sources.repo
[root@CDH11 yum.repos.d]# rm -rf *
[root@CDH11 yum.repos.d]# vi my.repo
[centos-yum]
baseurl=file:///root/cdroom
enabled=1
gpgcheck=0
开启NTP
[root@CDH11 yum.repos.d]# yum install ntp
systemctl is-enabled ntpd
systemctl enable ntpd
systemctl start ntpd
root@CDH11 yum.repos.d]# yum install mysql-connector-java
3开始安装CDH
安装配置clouder manager
1.将cloudera-manager-centos-cm5.12.1_x86_64上传到/opt目录并解压
[root@CDH11 opt]# tar -zxvf cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
2.将mysql的驱动放到/opt/cm-5.12.1/share/cmf/lib
cp /usr/share/java/mysql-connector-java.jar /opt/cm-5.12.1/share/cmf/lib
3.初始化cloudera manager 的数据库元信息
/opt/cm-5.12.1/share/cmf/schema/scm_prepare_database.sh  mysql cm -hlocalhost -uroot -p105104gou --scm-host localhost scm scm scm 
g that we can write to /opt/cm-5.12.1/etc/cloudera-scm-server
Creating SCM configuration file in /opt/cm-5.12.1/etc/cloudera-scm-server
groups: cloudera-scm: no such user
Executing:  /usr/java/jdk1.8.0_201-amd64/bin/java -cp /usr/share/java/mysql-connector-java.jar:/usr/share/java/oracle-connector-java.jar:/opt/cm-5.12.1/share/cmf/schema/../lib/* com.cloudera.enterprise.dbutil.DbCommandExecutor /opt/cm-5.12.1/etc/cloudera-scm-server/db.properties com.cloudera.cmf.db.
[                          main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!--执行成功了
4.创建cloudera-scm用户
useradd --system --home=/opt/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 
5.配置介质
默认路径/opt/cloudera/parcel-repo
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel       manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
[root@CDH11 parcel-repo]# mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
[root@CDH11 parcel-repo]# ls
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel      manifest.json
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
修改/opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini 中的server_host为主节点的主机名
[root@CDH11 parcel-repo]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
server_host=CDH11
启动服务
/opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
/opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
[root@CDH11 opt]# vi /opt/cm-5.12.1/etc/cloudera-scm-agent/config.ini
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-server start
Starting cloudera-scm-server:                              [  OK  ]
[root@CDH11 opt]# /opt/cm-5.12.1/etc/init.d/cloudera-scm-agent start
Starting cloudera-scm-agent:                               [  OK  ]
http://192.168.174.132:7180/cmf/login[启动时间长,刷新admin admin]17分钟
接受协议-》继续当前管理的主机-》继续
在选择存储库-》更多选项删除远程的东西
继续当前管理的主机-》继续
echo 10 >/proc/sys/vm/swappiness
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
重新运行
完成
自定义
  Cloudera Management Service              
report manager
create database report;


https://blog.csdn.net/xjping0794/article/details/77746630
[root@CDH11 opt]# cd /opt/cloudera/parcel-repo
输入 sudo,然后输入密码,回到root用户
cd ~ 进入 /root目录

[paohaiijiao@CDH11 ~]$ su -
Password: 
su: Authentication failure
[paohaiijiao@CDH11 ~]$ sudo passwd root
Changing password for user root.
New password: 
Retype new password: 
passwd: all authentication tokens updated successfully.
[paohaiijiao@CDH11 ~]$ su -

© 著作权归作者所有

下一篇: 算法收藏
泡海椒
粉丝 11
博文 282
码字总数 288344
作品 0
成都
程序员
私信 提问
加载中

评论(6)

泡海椒
泡海椒
export HADOOP_USER_NAME=hdfs
[root@cdh133 conf]# hadoop dfs -chmod -R 777 /
export HADOOP_USER_NAME=root
泡海椒
泡海椒
权限不足-hdfs-系统组
泡海椒
泡海椒
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/lib
泡海椒
泡海椒
http://archive.cloudera.com/cdh5/parcels/5.12.1/
泡海椒
泡海椒
https://blog.csdn.net/u012551524/article/details/79276364
泡海椒
泡海椒
http://www.aboutyun.com/thread-11057-1-1.html
搭建大数据平台,强调计算能力

搭建大数据平台,强调计算能力, 应该要考虑哪些纬度,和使用spark,hive? 怎么选择cdh ,还是 hdp, 用centos7还是 centos6.6??

天池番薯
2016/12/07
108
0
Centos7离线安装Cloudera Manager 5.14.1

简介 如果是新手,请严格按照步骤来做。当然还有其他安装方式,这里讲的方式比较适合测试使用。 本次安装一共使用3台服务器,主要用户测试。 可以搭建三台虚拟机,其中master内存在8G以上,s...

全科
2018/08/08
0
0
CDH5.9.0离线部署

部署环境:win7+vmware11+centos7.2+cdh5.9.0 1) 关闭防火墙 –# firewall-cmd –state –# systemctl stop firewalld.service –# systemctl disable firewalld.service –# vi /etc/selin......

thinkpadshi
2017/08/21
0
0
【报错总结】搭建 CDH 版 Oozie 伪分布式环境报错

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/85839996 【报错描述】按步骤搭建CDH版Oozie伪分布式环境后, 启动Oozie:,服...

魏晓蕾
01/05
0
0
hbase高可用集群部署(cdh)

一、概要 本文记录hbase高可用集群部署过程,在部署hbase之前需要事先部署好hadoop集群,因为hbase的数据需要存放在hdfs上,hadoop集群的部署后续会有一篇文章记录,本文假设hadoop集群已经部...

navyaijm2012
2017/05/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java的线程同步和并发问题示例

并发问题 多线程是一个非常强大的工具,它使我们能够更好地利用系统的资源,但我们需要在读取和写入多个线程共享的数据时特别小心。 当多个线程尝试同时读取和写入共享数据时,会出现两种类型...

hiuh
今天
1
0
Spring Boot 常用注解说明

实体类 @Entity (实体类注解) @Table(可指定表名) @Data(可缺省get/set) @Id (指定属性主键) @GeneratedValue(指定主键生成规则)

兜兜毛毛
今天
3
0
局域网能互相ping通,ubuntu虚拟机不能上外网

【问题】 桥接模式老是无法上网,查看本机IP发现被分配了一个私网地址,猜测应该是虚拟DHCP服务器没有打开,于是查看Ubuntu的网络配置: /etc/network/interfaces 发现没有dhcp配置的信息,只...

tahiti_aa
今天
2
0
以太坊助记词PHP开发包简介

以太坊助记词PHP开发包用来为PHP以太坊应用增加助记词和层级确定密钥支持能力。下载地址:以太坊助记词php开发包 。 1、开发包概述 以太坊助记词PHP开发包主要包括以下特性: 生成符合BIP39...

汇智网教程
昨天
2
0
系统监控-分布式调用链Skywalking

1. 为什么要使用分布式调用链技术? 随着公司业务的高速发展,公司服务之间的调用关系愈加复杂,如何理清并跟踪它们之间的调用关系就显的比较关键。线上每一个请求会经过多个业务系统,并产生...

秋日芒草
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部