文档章节

搭建Hadoop1.2.1集群

张超
 张超
发布于 2014/12/23 20:45
字数 590
阅读 80
收藏 0
环境:
三台CentOS6.5虚拟机,机器名分别为hadoop1、hadoop2、hadoop3,通过桥接连网,互相可以ping通,均安装好JDK1.7,并关闭iptables防火墙
[root@hadoop1 ~]$ service iptables stop
[root@hadoop1 ~]# chkconfig iptables off

一、配置hosts文件
[root@hadoop1 ~]# vi /etc/hosts
127.0.0.1   localhost
::1         localhost
192.168.0.104    hadoop1
192.168.0.103    hadoop2
192.168.0.105    hadoop3
hadoop2、hadoop3上也做类似设置

二、给每个虚拟机建立hadoop运行账号
[root @localhost ~]# useradd -s /bin/sh -d /home/grid -m grid
[root @localhost ~]# passwd grid

三、配置ssh免密码连入(本机到本机的免密码也需要配置)
生成密钥:
[grid@hadoop1 ~]$ ssh-keygen -t rsa
直接三次回车生成公钥和私钥,hadoop2、hadoop3同样如此
[grid@hadoop1 ~]$ chmod 700 ~/.ssh

分发密钥:
[grid@hadoop1 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop2:.ssh/id_rsa.pub1
[grid@hadoop1 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop3:.ssh/id_rsa.pub1
[grid@hadoop2 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop1:.ssh/id_rsa.pub2
[grid@hadoop2 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop3:.ssh/id_rsa.pub2
[grid@hadoop3 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop1:.ssh/id_rsa.pub3
[grid@hadoop3 ~]$ scp ~/.ssh/id_rsa.pub grid@hadoop2:.ssh/id_rsa.pub3

将公钥写入到authorized_keys文件中:
[grid@hadoop1 ~]$ touch ~/.ssh/authorized_keys;chmod 644 ~/.ssh/authorized_keys
[grid@hadoop1 ~]$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys;cat ~/.ssh/id_rsa.pub2 >> ~/.ssh/authorized_keys;cat ~/.ssh/id_rsa.pub3 >> ~/.ssh/authorized_keys

四、在一台虚拟机中下载并解压hadoop安装包
[grid@hadoop1 ~]$ wget http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz
[grid@hadoop1 ~]$ tar -zxf hadoop-1.2.1-bin.tar.gz

五、配置namenode,修改site文件
修改core-site.xml,指定NameNode主服务器的地址、临时文件目录:
[grid@hadoop1 ~]$ vi hadoop-1.2.1/conf/core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop1:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/grid/hadoop-1.2.1/tmp</value>
</property>
</configuration>

创建临时文件目录
[grid@hadoop1 ~]$ mkdir -p /home/grid/hadoop-1.2.1/tmp

修改hdfs-site.xml文件,指定复制因子:
[grid@hadoop1 ~]$ vi hadoop-1.2.1/conf/hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
</configuration>

修改mapred-site.xml文件,指定JobTracker主服务器地址及端口
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop1:9001</value>
</property>
</configuration>

六、配置hadoop-env.sh
[grid@hadoop1 ~]$ vi hadoop-1.2.1/conf/hadoop-env.sh
修改JAVA_HOME路径

七、配置masters和slaves文件(masters中设置的是secondary namenode节点)
[grid@hadoop1 ~]$ vi hadoop-1.2.1/conf/masters
hadoop1
[grid@hadoop1 ~]$ vi hadoop-1.2.1/conf/slaves
hadoop2
hadoop3

八、向各节点复制hadoop
[grid@hadoop1 ~]$ scp -r ~/hadoop-1.2.1 grid@hadoop2:~

九、在masters节点上格式化namenode
[grid@hadoop1 ~]$ hadoop-1.2.1/bin/hadoop namenode -format

十、启动hadoop
[grid@hadoop1 ~]$ hadoop-1.2.1/bin/start-all.sh

十一、用jps检验各后台进程是否成功启动
[grid@hadoop1 ~]$ /usr/java/jdk1.7.0_72/bin/jps
2485 JobTracker
2637 Jps
2410 SecondaryNameNode
2259 NameNode
[grid@hadoop2 ~]$ /usr/java/jdk1.7.0_72/bin/jps
2128 DataNode
2281 Jps
2191 TaskTracker
[grid@hadoop3 ~]$ /usr/java/jdk1.7.0_72/bin/jps
2185 TaskTracker
2293 Jps
2123 DataNode


© 著作权归作者所有

共有 人打赏支持
张超
粉丝 43
博文 132
码字总数 100517
作品 0
广州
后端工程师
私信 提问
通过web了解Hadoop的活动

环境:Hadoop1.2.1 通过用浏览器和http访问jobtracker所在节点的50030端口监控jobtracker http://192.168.0.104:50030/jobtracker.jsp 通过用浏览器和http访问namenode所在节点的50070端口监...

张超
2015/01/03
0
0
IntelliJ IDEA 连接 Hadoop

Hadoop环境:CentOS6.6 Hadoop1.2.1 开发环境:Windows7 IDEA13 在 Win7 上创建一个与 Hadoop 集群用户同名的用户(或者直接更改当前用户名) 使用新创建的用户启动 IntelliJ IDEA ,确保程序...

张超
2015/02/01
0
2
CentOS 64位系统进行Hadoop2.3.0本地编译及完全分布式集群的部署

本文是在小编的博文《 基于Hadoop1.2.1完全分布式集群的部署 》的基础上写作的,所有硬件环境跟之前博文的硬件环境一模一样,因此本文不想再这方面费过多的口舌,关于hosts配置、JDK的安装和...

灯下黑鬼吹灯
2016/11/28
65
0
Mahout安装与配置笔记

一、硬件环境 操作系统:Linux ubuntu-13.04-desktop-i386 jdk安装版本:jdk-7u51-linux-i586 Hadoop版本:Hadoop-1.1.1(一个Namenode,三个Datanode部署) 二、安装步骤 在Mahout安装之前读...

kartik
2014/06/01
0
0
基于Hadoop1.2.1完全分布式集群的部署

一、准备工作 同一个局域网中的三台Linux虚拟机,发行版本均使用64位CentOS6.3,主机是 Windows 10 64位操作系统;通过 vmware workstation 实现三台虚机,这样就形成了一个以物理机为DNS服务...

灯下黑鬼吹灯
2016/11/25
97
0

没有更多内容

加载失败,请刷新页面

加载更多

Java单例模式学习记录

在项目开发中经常能遇见的设计模式就是单例模式了,而实现的方式最常见的有两种:饿汉和饱汉(懒汉)。由于日常接触较多而研究的不够深入,导致面试的时候被询问到后有点没底,这里记录一下学习...

JerryLin123
昨天
3
0
VSCODE 无法调试

VSCODE 无法调试 可以运行 可能的原因: GCC 的参数忘了加 -g

shzwork
昨天
4
0
理解去中心化 稳定币 DAI

随着摩根大通推出JPM Coin 稳定币,可以预见稳定币将成为区块链落地的一大助推器。 坦白来讲,对于一个程序员的我来讲(不懂一点专业经济和金融),理解DAI的机制,真的有一点复杂。耐心看完...

Tiny熊
昨天
4
0
5.线程实现

用于线程实现的Python模块 Python线程有时称为轻量级进程,因为线程比进程占用的内存少得多。 线程允许一次执行多个任务。 在Python中,以下两个模块在一个程序中实现线程 - _thread 模块 th...

Eappo_Geng
昨天
6
0
ServiceLoader

创建一个接口文件在resources资源目录下创建META-INF/services文件夹在services文件夹中创建文件,以接口全名命名创建接口实现类 内容me.zzp.ar.d.PostgreSQLDialectme.zzp.ar.d.Hype...

Cobbage
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部