文档章节

Centos6.5集群安装64位hadoop2.2.0

ihaolin
 ihaolin
发布于 2014/01/09 02:57
字数 425
阅读 2381
收藏 12

Centos6.5集群安装64位hadoop2.2.0:

  • 网络环境,整3台虚拟机或者物理机,配置好相应网络,编辑/etc/hosts, 如:

  • ssh无密码登录,很简单,每台机器都生成公钥,密钥(事先建立一个统一的hadoop用户)                    
    // 生成key, 都不输入密码
    ssh-keygen -t rsa
    
    // 于是在用户主目录下会有.ssh/文件夹生成, 文件有:
     id_rsa id_rsa.pub
    将三台机器的id_rsa.pub的内容合并到一个authorized_keys文件,并复制到三台机器用户主目录/.ssh/下。
    注意, Centos默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中3行的注释:

     

      完成后就可以无密ssh了,如:

      

//1. hadoop-env.sh中添加JAVA_HOME, 如:
# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.7.0_45

//2. core-site.xml(tmp目录需手动创建):
<configuration>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/tmp/hadoop-${user.name}</value>
        </property>
         <property>
                <name>fs.default.name</name>
                <value>hdfs://hadoopmaster:9000</value>
         </property>
</configuration>

//3. mapred-site.xml
<configuration>
        <property>
                <name>mapred.job.tracker</name>
                <value>hadoopmaster:9001</value>
        </property>
</configuration>

//4. hdfs-site.xml
<configuration>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

//5. slaves
hadoopslave1
hadoopslave2
// 配置yarn-site.xml
<configuration>
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoopmaster:8080</value>
        </property>
        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoopmaster:8081</value>
        </property>
        <property>
                <name>yarn.resourcemanager.resource-tracker.address</name>
                <value>hadoopmaster:8082</value>
        </property>
        <property>
                <name>yarn.nodemanager.resource.memory-mb</name>
                <value>10240</value>
        </property>
        <property>
                <name>yarn.nodemanager.remote-app-log-dir</name>
                <value>${hadoop.tmp.dir}/nodemanager/remote</value>
        </property>
        <property>
                <name>yarn.nodemanager.log-dirs</name>
                <value>${hadoop.tmp.dir}/nodemanager/logs</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>
  • 将整个hadoop目录复制到其他两台机器:
scp -r hadoop-2.2.0 hadoop@hadoopslave1:/home/hadoop
scp -r hadoop-2.2.0 hadoop@hadoopslave2:/home/hadoop
  • 格式化hadoop文件系统:
hdfs namenode -format
  • 启动hadoop集群:
start-dfs.sh
start-yarn.sh
  • 视觉图:

  • 收工。

© 著作权归作者所有

ihaolin

ihaolin

粉丝 263
博文 164
码字总数 106524
作品 4
朝阳
高级程序员
私信 提问
加载中

评论(2)

ihaolin
ihaolin 博主

引用来自“___RX”的评论

有没有更加详细的过程呢

你哪里不明白?
_
___RX
有没有更加详细的过程呢
centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装...

kt431128
2014/06/03
8.6K
17
hadoop2.2.0安装笔记

NameNode 192.168.1.122 hadoop/hadoop VM 192.168.1.123 DataNode1 192.168.1.124 datanode1/datanode1 hadoop/hadoop DataNode2 192.168.1.125 datanode2/datanode2 hadoop/hadoop 一、在所......

陶诗德
2014/07/10
230
0
Hadoop2.2.0安装配置手册

第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件,所以如果需要在64位系统上部署则需要单独下载src 源码自行编译...

cnxk
2013/12/06
1K
2
centos下docker安装及motan程序部署

目前,我们有一套java程序,运行在一组服务器上面,其中,一台nginx服务器,两台site服务器,三台service服务器并分别安装了zookeeper,一台database服务器并安装了redis,这样的布局是为了以...

zb1501222198553
2017/08/13
94
12
linux新手入门必看

linux运维工程师是目前IT行业是比较吃香的职业,很多人认为,缺口的,需求量大,工作一定很好找,薪资高,不错,Linux相关工作很好找,但是,薪资的高低更多的是取决于你所掌握的技术。那么,...

python入门
2017/12/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

2020,向死而生

或许2020年注定是非常艰难的一年,毕竟两个轮回前之的1900年,清廷过得也很艰难,义和团在北方闹得轰轰烈烈,紫禁城也被八国联军占领。次年(1901年)即签订了后世所谓的丧权辱国的辛丑条约,...

嘉树
12分钟前
3
0
git 常用配置

git config --global core.compression 0 git config --global http.lowSpeedLimit 0 git config --global http.lowSpeedTime 999999 git config --global http.postBuffer 524288000......

老码农008
13分钟前
6
0
Protel99SE WIN10系统下无法添加封装库的解决方法

Protel99SE WIN10系统下无法添加封装库的解决方法 Protel99SE这款PCB设计软件实在太古老了,导致与微软的最新操作系统有些功能不能兼容,比如WIN10系统下无法添加封装库;但是由于Protel99S...

demyar
14分钟前
3
0
大数据风控系统概述

为什么要做风控系统 不做的话,会有以下风险: 各种小号、垃圾账号泛滥 撞库攻击、盗号、毁号、拖库等 拉新 10w 留存率不到 5% 百万营销费用,却增加不了用户粘性 投票票数差距非常悬殊 各种...

大数据技术进阶
14分钟前
5
0
串口调试助手,VB6.0开发

1、为什么要自己开发一个串口调试助手 通常我们都是:在网上直接下载一个串口助手,可执行文件,直接使用,并无法得到其源码,在此我们提供了一个VB6.0开发的串口助手: (1)让你极速掌握串...

superman150
17分钟前
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部