文档章节

centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集

Zero零_度
 Zero零_度
发布于 2015/09/07 10:49
字数 939
阅读 89
收藏 1

centos6.4用cloudera manager安装hadoop2.0.0-cdh4.3.0集群(一)


cloudera 发行的hadoop安装有4种方式,其中使用cloudera manager安装是最简单的。缺点是你不清楚hadoop安装时的配置以及具体流程,而且cloudera manager的商业版是收费的,有免费版但是只支持最多50个节点。虽然官方极力推荐此种方法,但是个人认为若需要对hadoop源码熟悉的较快,可以 选择手动安装。下面简单介绍一下cloudera安装方式的流程。

一、前期准备

1、操作系统选择。

centos、red hat、ubuntu均是可以的,但是和要安装的hadoop版本有区别。根据要安装的hadoop选择操作系统,一般选centos6以上版本。

2、jdk安装配置

选择jdk1.7以上版本,集群安装最好所有节点版本一致,路径一致。下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

将已下载的java包移动到你想要的目录,比如:

cd /usr

mkdir java

mv 'java源包路径' 、/usr/java

rpm -ivh /usr/java/java1.7.....

安装完成后,需要配置环境变量:

export JAVA_HOME=<jdk-install-dir>

sudo env | grep JAVA_HOME

编辑/etc/sudoers文件:

vim /etc/sudoers

按i编辑,添加:

Defaults env_keep+=JAVA_HOME

esc退出编辑,输入‘:wq!’保存退出。

3、关闭selinux

vim /etc/selinux/config

修改SELINUX=disabled

注:重启后生效,可以在配置完其他步骤后再重启。

4、关闭防火墙

service iptables stop    ---临时关闭

chkconfig iptables stop  ---永久关闭

不同系统有细微区别,建议每次开机都临时关闭防火墙,永久关闭命令不一定有效。

5、配置代理以及修改timeout

vim /etc/yum.conf

添加:

http_proxy=http://server:port/

timeout=55555

此处timeout若不添加可能会在后续cdh4安装时因为网络问题下载安装失败。

6、安装内置数据库postgresql

yum install postgresql

service postgresql initdb    ---此处数据库初始化注意必须在操作系统中添加有PostgreSQL

chkconfig postgresql on      ---开机启动

vim /var/lib/pgsql/data/postgresql.conf   ---配置参数

修改

#listen_addresses = '127.0.0.1'      # what IPaddress(es) to listen on;

                                     # comma-separatedlist of addresses;

                                     #defaults to 'localhost', '*' = all

#port = 5432

修改后:

listen_addresses= '*'              #what IP address(es) to listen on;

                                    # comma-separated listof addresses;

                                    # defaults to'localhost', '*' = all

port= 5432

保存退出。

service postgresql restart    ---重启数据库服务


上述前期配置均已完成后可重启计算机。所有集群节点均做相同操作。


二、部署cdh4集群

1、修改主机名

比如在master节点上:

hostname master

vim /etc/sysconfig/network

修改

HOSTNAME=master

其他slave节点做类似操作,重启计算机。

2、修改hosts

vim /etc/hosts

添加:

192.168.xxx.xxx master

192.168.xxx.xxx slave01

192.168.xxx.xxx slave02

..

..

所有集群电脑做上述相同配置。

3、配置ssh

在Master上生成一个密钥对,包括一个公钥和一个私钥,并将公钥复制到所有的Slave上;

当Master通过SSH连接Slaver时,Slave会生成一个随机数并用Master的公钥对随机数进行加密,并发送给Master;

Master收到加密后用私钥进行解密,并将解密数回送给SlaveSlave确认解密数无误后允许Master不输入密码就可以进行连接。

在master电脑上:

ssh-keygen -t rsa -p ''

一路默认,按enter结束。若之前已有公钥私钥,会出现是否覆盖,y确定覆盖。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

chmod 600 ~/.ssh/authorized_keys

vim /etc/ssh/sshd_config

修改

#RSAAuthentication yes # 启用RSA 认证

#PubkeyAuthentication yes # 启用公钥私钥配对认证方式

# AuthorizedKeysFile .ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)

修改后:

RSAAuthenticationyes # 启用RSA 认证

PubkeyAuthenticationyes # 启用公钥私钥配对认证方式

AuthorizedKeysFile.ssh/authorized_keys # 公钥文件路径(和上面生成的文件同)


本文转载自:http://dongxicheng.org/mapreduce-nextgen/how-to-select-hadoop-versions/

上一篇: Log4j日志级别
下一篇: CentOS 关闭防火墙
Zero零_度
粉丝 69
博文 1267
码字总数 263854
作品 0
程序员
私信 提问
Hadoop入门扫盲:hadoop发行版介绍与选择

一、hadoop发行版介绍 目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的...

南非蚂蚁
2016/11/03
0
0
Uninstalling Cloudera Manager and CDH in SLES

一、如果在安装过程中因为某些原因没有正常完成安装,你想重新继续安装。 执行: 1、删除文件和目录 rm -Rf /usr/share/cmf /var/lib/cloudera /var/cache/yum/cloudera 2、重新启用安装程序...

ArvinHan
2015/10/15
99
0
how to install hadoop2.0.0 for centos6.4

1.JAVA INSTALL(root) ># mkdir /usr/JAVA >#./jdk-6u45-linux-i586.bin ># vim /etc/profile export JAVAHOME=/usr/JAVA/jdk1.6.045 export CLASSPATH=.:$JAVAHOME/jre/lib/rt.jar:$JAVAHOM......

temptrack
2013/10/24
237
0
在线安装CDH5.4.1

下载CENTOS6.4 http://118.122.119.70/CentOS-6.4-x86_64-bin-DVD1.iso?fid=KBiGdobo4XpP2az01*useRyNKDoASHsDAQAAAPMPsesUnrepQ15p8WWIN7Ynh3Ft&mid=666&threshold=150&tid=4990D3C32C91D7A......

泡海椒
2016/12/25
59
0
cloudra安装hadoop集群

http://archive-primary.cloudera.com/cdh5/parcels/5.3.2/ http://www.cnblogs.com/oftenlin/p/4217670.html http://www.jianshu.com/p/57179e03795f 准备工作 以下步骤要在所有节点上执行 ......

泡海椒
2016/04/16
101
0

没有更多内容

加载失败,请刷新页面

加载更多

《Designing.Data-Intensive.Applications》笔记 四

第九章 一致性与共识 分布式系统最重要的的抽象之一是共识(consensus):让所有的节点对某件事达成一致。 最终一致性(eventual consistency)只提供较弱的保证,需要探索更高的一致性保证(stro...

丰田破产标志
今天
6
0
docker 使用mysql

1, 进入容器 比如 myslq1 里面进行操作 docker exec -it mysql1 /bin/bash 2. 退出 容器 交互: exit 3. mysql 启动在容器里面,并且 可以本地连接mysql docker run --name mysql1 --env MY...

之渊
今天
7
0
python数据结构

1、字符串及其方法(案例来自Python-100-Days) def main(): str1 = 'hello, world!' # 通过len函数计算字符串的长度 print(len(str1)) # 13 # 获得字符串首字母大写的...

huijue
今天
5
0
OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
1K
11
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
40
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部