文档章节

Hadoop 2.6.4分布式集群环境搭建

JackieYeah
 JackieYeah
发布于 2016/04/13 00:49
字数 877
阅读 10620
收藏 36

一、软件准备

VMware-Fusion-8.0.0-2985594.dmg

ubuntu-14.04.4-desktop-amd64.iso

 

二、集群机器准备

VMware Fusion中安装三台虚拟机,如下:

在安装三台虚拟机的时候,创建专门用于 Hadoop 集群管理的用户 hadoop,为了管理方便,密码可以简单设置为 hadoop。

三台机器的名称和IP地址如下:

主机名称

IP地址

master

192.168.109.137

slave01

192.168.109.139

slave02

192.168.109.138


修改 三台机器的 /etc/hosts 文件,配置如下:

127.0.0.1       localhost
192.168.109.137 master
192.168.109.139 slave01
192.168.109.138 slave02

可以使用 ping 命令测试三台机器的连通性。

三、配置 ssh 无密码访问集群机器

在三台机器中分别执行以下两个命令,以便无密码登录到 localhost。

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

将 slave01 和 slave02 的公钥 id_dsa.pub 传给 master。

scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave01
scp ~/.ssh/id_dsa.pub hadoop@master:/home/hadoop/.ssh/id_dsa.pub.slave02

将 slave01 和 slave02的公钥信息追加到 master 的 authorized_keys文件中。

cat id_dsa.pub.slave01 >> authorized_keys
cat id_dsa.pub.slave02 >> authorized_keys

将 master 的公钥信息 authorized_keys 复制到 slave01 和 slave02 的 .ssh 目录下。

scp authorized_keys hadoop@slave01:/home/hadoop/.ssh/authorized_keys
scp authorized_keys hadoop@slave02:/home/hadoop/.ssh/authorized_keys

分别 ssh 到 slave01 和 slave02 

可以看到从 master 已经不需要密码就可以登录到 slave01 和 slave 02。slave01 和 slave02 也无需密码访问另外两台机器,如下:

四、JDK 和 Hadoop 安装配置

分别在三台机器中安装 JDK 和 Hadoop,具体的安装细节这里不再赘述,可以参见另外一篇博文 Hadoop 2.6.4单节点集群环境搭建 。注意:本文将 Java 和 Hadoop 解压安装到 /opt 目录下, 需使用 chown 命令将解压后文件夹所属的用户和用户组改成 hadoop,以免后面产生权限问题。下面是 JDK 和 Hadoop 环境变量配置:

# Java Env
export JAVA_HOME=/opt/java/jdk1.7.0_80
export JRE_HOME=/opt/java/jdk1.7.0_80/jre
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

# Hadoop Env
export HADOOP_HOME=/opt/hadoop-2.6.4
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

五、集群配置

1、修改 master 机器上 Hadoop 配置

(1) hadoop-env.sh

增加如下两行配置:

export JAVA_HOME=/opt/java/jdk1.7.0_80
export HADOOP_PREFIX=/opt/hadoop-2.6.4

(2) core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/hadoop-2.6.4/tmp</value>
    </property>
</configuration>

注意:tmp目录需提前创建

(3) hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

数据有三个副本

(4) mapred-site.xml

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

(5) yarn-env.sh

增加 JAVA_HOME 配置

export JAVA_HOME=/opt/java/jdk1.7.0_80

(6) yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
</configuration>

(7) slaves

master
slave01
slave02

master 即作为 NameNode 也作为 DataNode。

2、在 slave01 和 slave02 上做同样的配置

六、启动Hadoop集群

1、格式化文件系统

在 master 上执行以下命令:

hdfs namenode -format

2、启动 NameNode 和 DateNode

在 master 机器上执行 start-dfs.sh, 如下:

使用 jps 命令查看 master 上的Java进程:

使用 jps 命令分别查看 slave01 和 slave02 上的 Java 进程:

可以看到 NameNode 和 DataNode 均启动成功。

3、查看 NameNode 和 NameNode 信息

浏览器输入地址: http://master:50070/ 可以查看 NameNode 信息。

4、启动 ResourceManager 和 NodeManager

运行 start-yarn.sh, 如下:

使用 jps 查看 master 上的 Java 进程

可以看到 master 上 ResourceManager 和 NodeManager 均启动成功。

可以看到 slave01 上 NodeManager 也启动成功。

同样可以看到 slave02 上 NodeManager 也已经启动成功了。

至此,整个 Hadoop 集群就已经启动了。

 

© 著作权归作者所有

JackieYeah
粉丝 45
博文 70
码字总数 90004
作品 0
武汉
程序员
私信 提问
加载中

评论(4)

Nicksxs
Nicksxs

引用来自“Nicksxs”的评论

看了您的博客搭了集群,现在有个问题是在master的管理界面中的overview中可以看到3个live datanode,但是在tab_datanode那边却只能看到两个localhost:50010

引用来自“JackieYeah”的评论

master节点既是NameNode也是DataNode
现在碰到这么个问题
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.token.SecretManager$InvalidToken): Given NMToken for application : appattempt_1493972151035_0007_000002 is not valid for current node manager.expected : slave01.xxxx.com:45454 found : localhost:45454
JackieYeah
JackieYeah 博主

引用来自“Nicksxs”的评论

看了您的博客搭了集群,现在有个问题是在master的管理界面中的overview中可以看到3个live datanode,但是在tab_datanode那边却只能看到两个localhost:50010
master节点既是NameNode也是DataNode
Nicksxs
Nicksxs
看了您的博客搭了集群,现在有个问题是在master的管理界面中的overview中可以看到3个live datanode,但是在tab_datanode那边却只能看到两个localhost:50010
徐明祥
徐明祥
[79]
Spark 1.6.1分布式集群环境搭建

一、软件准备 scala-2.11.8.tgz spark-1.6.1-bin-hadoop2.6.tgz 二、Scala 安装 1、master 机器 (1)下载 scala-2.11.8.tgz, 解压到 /opt 目录下,即: /opt/scala-2.11.8。 (2)修改 scala-......

JackieYeah
2016/04/14
8.6K
6
三:Hadoop伪分布式配置

一:Hadoop伪分布式配置: 1.core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name......

牧羊人Berg
2016/04/29
100
0
Hadoop 2.6.4单节点集群环境搭建

一、软件准备 1. jdk-7u80-linux-x64.tar.gz 2. hadoop-2.6.4.tar.gz 3. ssh客户端(必须安装 ssh 且必须运行 sshd 以便使用 Hadoop 脚本来管理远程的 Hadoop 守护进程, Mac自带有 ssh 客户端...

JackieYeah
2016/04/11
2.4K
0
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
一脸懵逼学习Hadoop分布式集群HA模式部署(七台机器跑集群)

1)集群规划: 主机名    IP 安装的软件   运行的进程 master 192.168.199.130 jdk、hadoop   NameNode、DFSZKFailoverController(zkfc) slaver1 192.168.199.131 jdk、hadoop   Name......

别叫小伙
2017/10/16
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Java 面试

https://www.bilibili.com/video/av51271222?from=search&seid=4920203212236751600 https://www.bilibili.com/video/av60309372/?spm_id_from=333.788.videocard.4......

MtrS
38分钟前
6
0
理想的数据分析平台

数据分析尤其是大数据分析这几年的热度依然不减,但面对眼花缭乱的数据分析产品很难去选择,那什么是理想的数据分析平台呢。下面是根据我的个人理解的理想数据分析平台,在次强调我理想的数据...

赛克蓝德
45分钟前
7
0
房贷计算器

题目要求 贷款有两种还款的方式:等额本金法和等额本息法,简单说明一下等额本息法与等额本金法的主要区别: 等额本息法的特点是:每月的还款额相同,在月供中“本金与利息”的分配比例中,前...

wzb88
56分钟前
10
0
springboot2 配置druid数据链接池,监控控制台

Druid是什么? Druid首先是Java语言中最好的数据库连接池,也是阿里巴巴的开源项目。Druid是阿里巴巴开发的号称为监控而生的数据库连接池,在功能、性能、扩展性方面,都超过其他数据库连接池...

万建宁
58分钟前
7
0
离线环境玩Docker-安装篇

如果你使用的是Mac之类的系统,推荐本地安装Docker,然后Docker运用运行CentOS(目标安装环境是CentOS)。如果你使用的是Windows,那么创建一个虚拟机可能是比较好的选择,Docker运行CentOS当然...

RippleChan
今天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部