文档章节

centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集

Zero零_度
 Zero零_度
发布于 2015/09/07 10:49
字数 939
阅读 89
收藏 1

centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集群(一)


cloudera 发行的hadoop安装有4种方式,其中使用cloudera manager安装是最简单的。缺点是你不清楚hadoop安装时的配置以及具体流程,而且cloudera manager的商业版是收费的,有免费版但是只支持最多50个节点。虽然官方极力推荐此种方法,但是个人认为若需要对hadoop源码熟悉的较快,可以 选择手动安装。下面简单介绍一下cloudera安装方式的流程。

一、前期准备

1、操作系统选择。

centos、red hat、ubuntu均是可以的,但是和要安装的hadoop版本有区别。根据要安装的hadoop选择操作系统,一般选centos6以上版本。

2、jdk安装配置

选择jdk1.7以上版本,集群安装最好所有节点版本一致,路径一致。下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

将已下载的java包移动到你想要的目录,比如:

cd /usr

mkdir java

mv 'java源包路径' 、/usr/java

rpm -ivh /usr/java/java1.7.....

安装完成后,需要配置环境变量:

export JAVA_HOME=<jdk-install-dir>

sudo env | grep JAVA_HOME

编辑/etc/sudoers文件:

vim /etc/sudoers

按i编辑,添加:

Defaults env_keep+=JAVA_HOME

esc退出编辑,输入‘:wq!’保存退出。

3、关闭selinux

vim /etc/selinux/config

修改SELINUX=disabled

注:重启后生效,可以在配置完其他步骤后再重启。

4、关闭防火墙

service iptables stop    ---临时关闭

chkconfig iptables stop  ---永久关闭

不同系统有细微区别,建议每次开机都临时关闭防火墙,永久关闭命令不一定有效。

5、配置代理以及修改timeout

vim /etc/yum.conf

添加:

http_proxy=http://server:port/

timeout=55555

此处timeout若不添加可能会在后续cdh4安装时因为网络问题下载安装失败。

6、安装内置数据库postgresql

yum install postgresql

service postgresql initdb    ---此处数据库初始化注意必须在操作系统中添加有PostgreSQL

chkconfig postgresql on      ---开机启动

vim /var/lib/pgsql/data/postgresql.conf   ---配置参数

修改

#listen_addresses = '127.0.0.1'      # what IPaddress(es) to listen on;

                                     # comma-separatedlist of addresses;

                                     #defaults to 'localhost', '*' = all

#port = 5432

修改后:

listen_addresses= '*'              #what IP address(es) to listen on;

                                    # comma-separated listof addresses;

                                    # defaults to'localhost', '*' = all

port= 5432

保存退出。

service postgresql restart    ---重启数据库服务


上述前期配置均已完成后可重启计算机。所有集群节点均做相同操作。


二、部署cdh4集群

1、修改主机名

比如在master节点上:

hostname master

vim /etc/sysconfig/network

修改

HOSTNAME=master

其他slave节点做类似操作,重启计算机。

2、修改hosts

vim /etc/hosts

添加:

192.168.xxx.xxx master

192.168.xxx.xxx slave01

192.168.xxx.xxx slave02

..

..

所有集群电脑做上述相同配置。

3、配置ssh

在Master上生成一个密钥对,包括一个公钥和一个私钥,并将公钥复制到所有的Slave上;

当Master通过SSH连接Slaver时,Slave会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master;

Master收到加密后用私钥进行解密,并将解密数回送给SlaveSlave确认解密数无误后允许Master不输入密码就可以进行连接。

在master电脑上:

ssh-keygen -t rsa -p ''

一路默认,按enter结束。若之前已有公钥私钥,会出现是否覆盖,y确定覆盖。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

vim /etc/ssh/sshd_config

修改

#RSAAuthentication yes # 启用RSA 认证

#PubkeyAuthentication yes # 启用公钥私钥配对认证方式

# AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

修改后:

RSAAuthenticationyes # 启用RSA 认证

PubkeyAuthenticationyes # 启用公钥私钥配对认证方式

AuthorizedKeysFile.ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)


本文转载自:http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/

上一篇: Log4j日志级别
下一篇: CentOS 关闭防火墙
Zero零_度
粉丝 69
博文 1267
码字总数 263854
作品 0
程序员
私信 提问
Hadoop入门扫盲:hadoop发行版介绍与选择

一、hadoop发行版介绍 目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的...

南非蚂蚁
2016/11/03
0
0
how to install hadoop2.0.0 for centos6.4

1.JAVA INSTALL(root) ># mkdir /usr/JAVA >#./jdk-6u45-linux-i586.bin ># vim /etc/profile export JAVAHOME=/usr/JAVA/jdk1.6.045 export CLASSPATH=.:$JAVAHOME/jre/lib/rt.jar:$JAVAHOM......

temptrack
2013/10/24
237
0
Uninstalling Cloudera Manager and CDH in SLES

一、如果在安装过程中因为某些原因没有正常完成安装,你想重新继续安装。 执行: 1、删除文件和目录 rm -Rf /usr/share/cmf /var/lib/cloudera /var/cache/yum/cloudera 2、重新启用安装程序...

ArvinHan
2015/10/15
106
0
在线安装CDH5.4.1

下载CENTOS6.4 http://118.122.119.70/CentOS-6.4-x86_64-bin-DVD1.iso?fid=KBiGdobo4XpP2az01*useRyNKDoASHsDAQAAAPMPsesUnrepQ15p8WWIN7Ynh3Ft&mid=666&threshold=150&tid=4990D3C32C91D7A......

泡海椒
2016/12/25
66
0
cloudra安装hadoop集群

http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/ http://www.cnblogs.com/oftenlin/p/4217670.html http://www.jianshu.com/p/57179e03795f 准备工作 以下步骤要在所有节点上执行 ......

泡海椒
2016/04/16
111
0

没有更多内容

加载失败,请刷新页面

加载更多

使用CSS自定义属性构建骨架屏

写在前面 几天前看到薄荷前端团队分享的《前端骨架屏方案小结》,突然回想起一年前看到的max bock写的《Building Skeleton Screens with CSS Custom Properties》,翻译整理写下出此文,分享...

前端老手
昨天
9
0
Docker常用命令小记

除了基本的<font color="blue">docker pull</font>、<font color="blue">docker image</font>、<font color="blue">docker ps</font>,还有一些命令及参数也很重要,在此记录下来避免遗忘。 ......

程序员欣宸
昨天
9
0
MAT使用-jvm内存溢出问题分析定位

1.MAT简介: MAT 全称 Eclipse Memory Analysis Tools 是一个分析 Java堆数据的专业工具,可以计算出内存中对象的实例数量、占用空间大小、引用关系等,看看是谁阻止了垃圾收集器的回收工作,...

xiaomin0322
昨天
5
0
内网和外网之间的通信(端口映射原理)

首先解释一下“内网”与“外网”的概念: 内网:即所说的局域网,比如学校的局域网,局域网内每台计算机的IP地址在本局域网内具有互异性,是不可重复的。但两个局域网内的内网IP可以有相同的...

Jack088
昨天
6
0
3.深入jvm内核-原理、诊断与优化-4. GC算法和种类

一、GC算法和种类 GC的概念 GC算法 引用计数法 标记清除 标记压缩 复制算法 可触及性 Stop-The-World GC的对象是堆空间和永久区 引用计数法 老牌垃圾回收算法 通过引用计算来回收垃圾 使用者...

hexiaoming123
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部