文档章节

在线安装CDH5.4.1

泡海椒
 泡海椒
发布于 2016/12/25 09:00
字数 1600
阅读 70
收藏 2

下载CENTOS6.4
http://118.122.119.70/CentOS-6.4-x86_64-bin-DVD1.iso?fid=KBiGdobo4XpP2az01*useRyNKDoASHsDAQAAAPMPsesUnrepQ15p8WWIN7Ynh3Ft&mid=666&threshold=150&tid=4990D3C32C91D7AF85B132EF51EE881D&srcid=119&verno=1
配置主机名
网络配置
安装Apache 服务器
关闭防火墙和selinux 及配置信任关系
设置NTP时间同步
增加普通用户hadoop 并设置sudo权限
安装包准备
执行文件 http://archive.cloudera.com/cm5/installer
rpm包: http://archive.cloudra.com/cm5/repo-as-tarball/
给予权限 chmod 777 cloudra-manager-installer.bin
[root@localhost ~]# service iptables stop
iptables: Flushing firewall rules:                         [  OK  ]
iptables: Setting chains to policy ACCEPT: filter          [  OK  ]
iptables: Unloading modules:  
root@localhost ~]# chkconfig iptables off
                             [  OK  ]
[root@localhost ~]# vi /etc/sysconfig/selinux
修改selinu                            
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#     targeted - Targeted processes are protected,
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

[root@localhost ~]#reboot
[root@localhost ~]#reboot
[root@localhost ~]# setup
[root@localhost ~]#  service network restart
Shutting down interface eth1:                              [  OK  ]
Shutting down loopback interface:                          [  OK  ]
Bringing up loopback interface:                            [  OK  ]
Bringing up interface eth1:                                [  OK  ]
[root@localhost ~]# ifconfig
eth1      Link encap:Ethernet  HWaddr 00:0C:29:30:FE:A3  
          inet addr:192.168.141.11  Bcast:192.168.141.255  Mask:255.255.255.0
          inet6 addr: fe80::20c:29ff:fe30:fea3/64 Scope:Link
          
          

修改IP和主机名映射关系vi /etc/hosts
192.168.141.11            CDH01
[root@localhost ~]# hostname CDH01
[root@localhost ~]# hostname
CDH01
[root@localhost ~]# vi /etc/sysconfig/network修改主机名
NETWORKING=yes
HOSTNAME=CDH01
查看是否安装java(安装了就卸载掉)
[root@CDH01 ~]# rpm -qa|grep jdk
[root@CDH01 ~]# rpm -qa|grep java
添加hadoop用户
[root@CDH01 ~]# adduser hadoop
[root@CDH01 ~]# passwd hadoop
root@CDH01 ~]# su hadoop
[hadoop@CDH01 root]$ whoami
hadoop

hadoop@CDH01 root]$ cd /etc/
[hadoop@CDH01 etc]$ ls -l|grep sudo
-rw-r-----.  1 root root   1786 Sep 25  2012 sudo.conf
-r--r-----.  1 root root   4002 Mar  1  2012 sudoers
drwxr-x---.  2 root root   4096 Feb 21  2013 sudoers.d
-rw-r-----.  1 root root   3181 Jan 23  2013 sudo-ldap.conf
[hadoop@CDH01 etc]$ su
Password:
[root@CDH01 etc]# vi sudoers
在root    ALL=(ALL)       ALL后添加
hadoop  ALL=(root)NOPASSWD:ALL
[root@CDH01 etc]# sudo ls /root/就不会报错了
[root@CDH01 etc]# ssh-keygen -t rsa
[root@CDH01 etc]# ssh-copy-id CDH01

[root@CDH01 etc]# ssh CDH01登录不用密码
[root@CDH01 ~]# rpm -qa|grep httpd
httpd-tools-2.2.15-26.el6.centos.x86_64
httpd-2.2.15-26.el6.centos.x86_64
root@CDH01 ~]# service httpd status
httpd is stopped
[root@CDH01 ~]# sudo service httpd start
[root@CDH01 ~]# sudo chkconfig httpd on
[root@CDH01 ~]#reboot
下载文件http://archive.cloudera.com/cm5/installer/5.4.1/cloudera-manager-installer.bin
下载文件http://archive.cloudera.com/cm5/repo-as-tarball/5.4.1/cm5.4.1-centos6.tar.gz(6代表是centos6.x)
[root@CDH01 /]# cd /opt
[root@CDH01 opt]# pwd
/opt
[hadoop@CDH01 opt]$ sudo rm -rf *
[hadoop@CDH01 opt]$ sudo mkdir softwares
[hadoop@CDH01 opt]$ ls
softwares
[hadoop@CDH01 opt]$ sudo yum install -y lrzsz

[root@CDH01 softwares]# sudo ls -la /opt
total 12
drwxr-xr-x.  3 root root 4096 Dec 18 09:15 .
dr-xr-xr-x. 22 root root 4096 Dec 18 08:06 ..
drwxr-xr-x   2 root root 4096 Dec 18 09:25 softwares
[root@CDH01 softwares]# sudo chown -R hadoop:hadoop /opt
[root@CDH01 softwares]# sudo ls -la /opt
total 12
drwxr-xr-x.  3 hadoop hadoop 4096 Dec 18 09:15 .
dr-xr-xr-x. 22 root   root   4096 Dec 18 08:06 ..
drwxr-xr-x   2 hadoop hadoop 4096 Dec 18 09:25 softwares
[root@CDH01 softwares]# tar -zxf cm5.4.1-centos6.tar.gz -C /var/www/html
[root@CDH02 softwares]# cd  /var/www/html
[root@CDH01 html]# sudo mkdir -p cm5/redhat/6/x86_64/
[root@CDH01 html]# sudo mv cm cm5/redhat/6/x86_64/
修改yum源
[root@CDH01 html]# cd /etc/yum.repos.d/
[root@CDH01 yum.repos.d]# ls
CentOS-Base.repo  CentOS-Debuginfo.repo  CentOS-Media.repo  CentOS-Vault.repo
[root@CDH01 yum.repos.d]# sudo vi cloudera-manager.repo
[cloudera-manager]
name=cloudera-manager
baseurl=http://CDH01/cm5/redhat/6/x86_64/cm/5/
enabled=1
gpgcheck=0

 

[root@CDH02 yum.repos.d]# yum repolist 【生成了yum源】
Loaded plugins: fastestmirror, refresh-packagekit, security
Loading mirror speeds from cached hostfile
Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=6&arch=x86_64&repo=os&infra=stock error was
14: PYCURL ERROR 6 - "Couldn't resolve host 'mirrorlist.centos.org'"
cloudera-manager                                         |  951 B     00:00
cloudera-manager/primary                                 | 4.3 kB     00:00
cloudera-manager                                                            7/7
Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=6&arch=x86_64&repo=extras&infra=stock error was
14: PYCURL ERROR 6 - "Couldn't resolve host 'mirrorlist.centos.org'"
Could not retrieve mirrorlist http://mirrorlist.centos.org/?release=6&arch=x86_64&repo=updates&infra=stock error was
14: PYCURL ERROR 6 - "Couldn't resolve host 'mirrorlist.centos.org'"
repo id                             repo name                             status
base                                CentOS-6 - Base                       0
cloudera-manager                    cloudera-manager                      7
extras                              CentOS-6 - Extras                     0
updates                             CentOS-6 - Updates                    0
repolist: 7


[root@CDH02 softwares]# wget http://archive.cloudera.com/cm5/installer/5.9.0/cloudera-manager-installer.bin
[root@CDH01 softwares]# ./cloudera-manager-installer.bin[root用户,并且要联网]
[root@CDH01 cloudera-manager-installer]# ls
0.check-selinux.log     2.install-oracle-j2sdk1.7.log
1.install-repo-pkg.log  3.install-cloudera-manager-server.log
[root@CDH01 ~]# cd /opt/softwares/
[root@CDH01 softwares]# ls
cloudera-manager-installer.bin  cm5.4.1-centos6.tar.gz

next->next->yes->next->yes
访问192.168.141.11:7180
[root@CDH01 softwares]# cd /var/www/html
[root@CDH01 html]# ls
cm5
[root@CDH01 html]# mkdir parcels 【http://archive.cloudera.com/cdh5/parcels/5.9.0/】
[root@CDH01 html]# ls
cm5  parcels
[root@CDH01 html]# cd parcels
[root@CDH01 parcels]# ls
CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel       manifest.json
CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.sha1
[root@CDH01 parcels]# mv CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.sha1 CDH-5.4.1-1.cdh5.4.1.p0.6-el6.parcel.sha
访问http://192.168.141.11/parcels/有三个文件

远程 Parcel 存储库 URL http://192.168.141.11/parcels/
选择 CDH 的版本
CDH-5.4.1-1.cdh5.4.1.p0.6

自定义存储库
http://192.168.141.11/cm5/redhat/6/x86_64/cm/5/

安装 Oracle Java SE 开发工具包 (JDK) 打钩
单用用户打钩
登录到所有主机,作为hadoop


root用户
     Cloudera 建议将 /proc/sys/vm/swappiness 设置为 0。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装,但可能会遇到问题,Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响:
[root@CDH01 parcels]# sudo sysctl vm.swappiness=0
vm.swappiness = 0
[root@CDH01 parcels]# vi /etc/sysctl.conf
vm.swappiness=0

已启用“透明大页面”,它可能会导致重大的性能问题。版本为“CentOS release 6.4 (Final)”且发行版为“2.6.32-358.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] never”,
并将 defrag 设置为“[always] never”。请运行“echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag”以禁用此设置,然后将同一命令添加到一个 init 脚本中,如 /etc/rc.local,这样当系统重启时就会予以设置。或者,升级到 RHEL 6.5 或更新版本,它们不存在此错误。将会影响到以下主机:
root@CDH01 parcels]# sudo echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
[root@CDH01 parcels]# sudo vi /etc/rc.local
增加echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
添加Cloudera Management Service【先不安装组件】
使用嵌入式数据库-》继续直到完成
添加服务zookeper


    [root@CDH01 cloudera-scm-agent]# service cloudera-scm-agent restart[可能权限有问题, chmod 777  /var/log/cloudera-scm-*]

    http://192.168.141.11:7180/cmf/login
[root@CDH01 cloudera-scm-server]# netstat -ano |grep 7180
tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      off (0.00/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51316         ESTABLISHED off (0.00/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51315         ESTABLISHED off (0.00/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51314         ESTABLISHED off (0.00/0/0)
tcp        0      0 192.168.141.11:54184        192.168.141.11:7180         TIME_WAIT   timewait (34.65/0/0)
tcp        0      0 192.168.141.11:54204        192.168.141.11:7180         TIME_WAIT   timewait (54.24/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51312         ESTABLISHED off (0.00/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51313         ESTABLISHED off (0.00/0/0)
tcp        0      0 192.168.141.11:7180         192.168.141.1:51310         ESTABLISHED off (0.00/0/0)
[root@CDH02 bin]# cd /opt/cloudera/parcels/CDH/bin
配置->hdfs权限-》保存更改-》HDFS重启
root@CDH02 bin]# /usr/java/jdk1.7.0_67-cloudera/bin/jps
18694 EventCatcherService
3614 NameNode
3639 DataNode
18733 Jps
2655 Main
4807 Main
3598 Bootstrap
5149 NodeManager
4828 Main
4762 AlertPublisher
3589 SecondaryNameNode
5372 ResourceManager
4787 Main
3587 QuorumPeerMain
[root@CDH02 CDH]# bin/yarn jar share/doc/hadoop-0.20-mapreduce/examples/hadoop-examples-2.6.0-mr1-cdh5.4.1.jar
bin/yarn jar share/doc/hadoop-0.20-mapreduce/examples/hadoop-examples-2.6.0-mr1-cdh5.4.1.jar wordcount /a /output01
配置-》操作-》启用ha

© 著作权归作者所有

下一篇: Rapid miner
泡海椒
粉丝 11
博文 282
码字总数 288344
作品 0
成都
程序员
私信 提问
wdcp服务器/虚拟主机管理系统1.1发布

wdcp服务器/虚拟主机管理系统1.1发布 wdcp (WDlinux Control Panel)是一套用PHP开发的Linux服务器管理系统,旨在易于使用和管理Linux服务器,可以在线通过网页管理服务器和虚拟主机.简单,方便,...

wdlinuxcn
2011/03/15
340
0
minGM 安装问题 翻-(墙)

我想要安装minGM,通过浏览器翻——(墙)已经下载了 在线安装器 mingw-get-inst-20120426.exe,可是这个要在线安装,浏览器可以翻-墙,这在线安装却不能翻-(墙)下载,进行安装……那么有什...

张金涛
2013/04/30
859
4
进程管理利器Supervisor--centos7下安装与配置

目录 概述 环境准备 检查python环境 在线安装 配置Supervisor 启动并验证 运维命令 概述 了解supervisor基本概念,请点击查看进程管理利器Supervisor--入门简介 Supervisor的安装可以有在线安...

java_龙
2018/12/10
3.3K
0
Kooteam 0.1.3 发布,重构系统日志模块,简化安装流程

Kooteam是一款轻量级的在线团队协作工具,提供各类文档工具、在线思维导图、在线流程图、项目管理、任务分发等工具,并接入了微信小程序,钉钉开放平台,使用便捷高效。 更新记录 重构系统日...

小小胖
01/29
979
1
Linux 服务器 WEB 管理面板--VPSMate

VPSMate Linux 服务器 WEB 管理面板 快速在线安装、小巧且节省资源 当前支持 CentOS/Redhat 5.4+、6.x 基于发行版软件源的软件管理机制 轻松构建 Linux + Nginx + MySQL + PHP 环境 强大的在...

匿名
2012/10/30
10.7K
2

没有更多内容

加载失败,请刷新页面

加载更多

JAVA 编写redisUtils工具类,防止高并发获取缓存出现并发问题

import lombok.extern.slf4j.Slf4j;import org.springframework.data.redis.core.BoundHashOperations;import org.springframework.data.redis.core.BoundValueOperations;import org.......

huangkejie
25分钟前
3
0
JMM内存模型(一)&volatile关键字的可见性

在说这个之前,我想先说一下计算机的内存模型: CPU在执行的时候,肯定要有数据,而数据在内存中放着呢,这里的内存就是计算机的物理内存,刚开始还好,但是随着技术的发展,CPU处理的速度越...

走向人生巅峰的大路
43分钟前
88
0
你对AJAX认知有多少(2)?

接着昨日内容,我们几天继续探讨ajax的相关知识点 提到ajax下面几个问题又是必须要了解的啦~~~ 8、在浏览器端如何得到服务器端响应的XML数据。 通过XMLHttpRequest对象的responseXMl属性 9、 ...

理性思考
52分钟前
4
0
正则表达式基础(一)

1.转义 转义的作用: 当某个字符在表达式中具有特殊含义,例如字符串引号中出现了引号,为了可以使用这些字符本身,而不是使用其在表达式中的特殊含义,则需要通过转义符“\”来构建该字符转...

清自以敬
55分钟前
4
0
idea中@Data标签getset不起作用

背景:换电脑以后在idea中有@data注解都不生效 解决办法:idea装个插件 https://blog.csdn.net/seapeak007/article/details/72911529...

栾小糖
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部