文档章节

Hadoop分布式集群安装配置教程

Jevic
 Jevic
发布于 2016/12/24 12:08
字数 1763
阅读 55
收藏 0

环境准备:

Hadoop 集群的安装配置大致为如下流程:

  • 选定一台机器作为 master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  • 在 Master 节点上安装 Hadoop,并完成配置
  • 在其他 Node 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境
  • 将 Master 节点上的 /usr/local/hadoop 目录复制到其他 Node 节点上
  • 在 Master 节点上开启 Hadoop

节点对应IP:

  • 172.16.151.10 master
  • 172.16.151.20 node1

  • a) 配置网络连接、主机名、修改/et c/hosts
  • b) 禁用SElinux - SELINUX=disabled
  • c) 关闭防火墙
  • d) 测试网络连接
[hadoop@master ~]$ ping node1 -c 2
[hadoop@node1 ~]$ ping master -c 2

配置SSH无密登陆节点

这个操作是要让 master 节点可以无密码 SSH 登陆到各个 node 节点上
[hadoop@master hadoop]$ cd ~/.ssh               # 如果没有该目录,先执行一次ssh localhost
[hadoop@master hadoop]$ rm ./id_rsa*            # 删除之前生成的公匙(如果有)
[hadoop@master hadoop]$ ssh-keygen -t rsa       # 一直按回车就可以
[hadoop@master hadoop]$ cat ./id_rsa.pub >> ./authorized_keys
完成后可执行 ssh Master 验证一下(可能需要输入 yes,成功后执行 exit 返回原来的终端)
接着在 Master 节点将上公匙传输到 Node1 节点:
[hadoop@master hadoop]$ scp ~/.ssh/id_rsa.pub hadoop@Node1:/home/hadoop/
接着在 Node1 节点上,将 ssh 公匙加入授权:
[hadoop@node1 ~]$ mkdir ~/.ssh       # 如果不存在该文件夹需先创建,若已存在则忽略
[hadoop@node1 ~]$ cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
[hadoop@node1 ~]$ rm ~/id_rsa.pub    # 用完就可以删掉了

配置环境变量:

Hadoop安装目录加入 PATH 变量中,这样就可以在任意目录中直接使用hadoo、hdfs 等命令了,需要在 Master 节点上进行配置。

[hadoop@master ]$ vim ~/.bashrc,加入一行:
export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
[hadoop@master hadoop]$ source ~/.bashrc

配置集群/分布式模式

[hadoop@master hadoop]$ cd /usr/local/hadoop/etc/hadoop

文件slaves,将作为 DataNode 的主机名写入该文件,每行一个,默认为 localhost,所以在伪分布式配置时,节点即作为 NameNode 也作为DataNode.分布式配置可以保留 localhost,也可以删掉,让 Master 节点仅作为 NameNode 使用

[hadoop@master hadoop]$ cat slaves
node1
[hadoop@master hadoop]$ vim core-site.xml
<configuration>
	<property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:9000</value>
        </property>
        <property>
  	        <name>hadoop.native.lib</name>
		<value>false</value>
		<description> if loadown nativelib</description>
	</property>
        <property>
 	        <name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop/tmp</value>
		<description>Abase for other temporary direction</description>
        </property>
</configuration>

`dfs.replication` 一般设为 3,但我们只有一个 node 节点,所以 dfs.replication 的值还是设为`1`:
[hadoop@master hadoop]$ vim hdfs-site.xml
<configuration>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>master:50090</value>
        </property>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>file:/usr/local/hadoop/tmp/dfs/data</value>
        </property>
</configuration>

[hadoop@master hadoop]$ vim mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>master:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
        </property>
</configuration>

[hadoop@master hadoop]$ vim yarn-site.xml
<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>master</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

配置好后,将 Master 上的 /usr/local/hadoop/etc/hadoop 文件夹复制到各个节点上。
[hadoop@master hadoop]$ cd /usr/local/hadoop
[hadoop@master hadoop]$ sudo rm -r tmp     # 删除 Hadoop 临时文件
[hadoop@master hadoop]$ sudo rm -r logs/*   # 删除日志文件
[hadoop@master hadoop]$ tar -zcf ~/hadoop.master.tar.gz ./etc/hadoop  # 先压缩再复制
[hadoop@master hadoop]$ cd ~
[hadoop@master hadoop]$ scp ./hadoop.master.tar.gz Node1:/home/hadoop
在 Node1 节点上执行:
[hadoop@node1 ]$ sudo rm -r /usr/local/hadoop/etc/hadoop    # 删掉旧的(如果存在)
[hadoop@node1 ]$ sudo tar -zxf ~/hadoop.master.tar.gz -C /usr/local/hadoop/etc
[hadoop@node1 ]$ sudo chown -R hadoop:hadoop /usr/local/hadoop/etc/hadoop
同样,如果有其他 Node 节点,也要执行将 hadoop.master.tar.gz 传输到 Node 节点、在 Node 节点解压文件的操作。

启动并测试Hadoop集群

首次启动需要先在 Master 节点执行 NameNode 的格式化:
[hadoop@master ]$ hdfs namenode -format       # 首次运行需要执行初始化,之后不需要
接着可以启动 hadoop 了,启动需要在 Master 节点上进行:
[hadoop@master ]$ start-dfs.sh
[hadoop@master ]$ start-yarn.sh
[hadoop@master ]$ mr-jobhistory-daemon.sh start historyserver
通过命令 jps 可以查看各个节点所启动的进程。正确的话,在 Master 节点上可以看到 NameNode、ResourceManager、SecondrryNameNode、JobHistoryServer 进程:
[hadoop@master ~]$ jps
2867 JobHistoryServer
2260 NameNode
13191 Jps
2446 SecondaryNameNode
2591 ResourceManager
----------
在 Node 节点可以看到 DataNode 和 NodeManager 进程
[hadoop@node1 ~]$ jps
2146 DataNode
13800 Jps
2250 NodeManager

缺少任一进程都表示出错。另外还需要在 Master 节点上通过命令 hdfs dfsadmin -report 查看 DataNode 是否正常启动,如果 Live datanodes 不为 0 ,则说明集群启动成功。例如我这边一共有 1 个 Datanodes:
[hadoop@master ~]$ hdfs dfsadmin -report
Configured Capacity: 23602401280 (21.98 GB)
Present Capacity: 21455265792 (19.98 GB)
DFS Remaining: 21454774272 (19.98 GB)
DFS Used: 491520 (480 KB)
DFS Used%: 0.00%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0

-------------------------------------------------
Live datanodes (1):

Name: 172.16.151.20:50010 (node1)
Hostname: node1
Decommission Status : Normal
Configured Capacity: 23602401280 (21.98 GB)
DFS Used: 491520 (480 KB)
Non DFS Used: 2147135488 (2.00 GB)
DFS Remaining: 21454774272 (19.98 GB)
DFS Used%: 0.00%
DFS Remaining%: 90.90%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 1
Last contact: Sun Dec 18 00:52:52 CST 2016

也可以通过 Web 页面看到查看 DataNode 和 NameNode 的状态:http://master:50070/ 。如果不成功,可以通过启动日志排查原因。

伪分布式、分布式配置切换时的注意事项

  • 1, 从分布式切换到伪分布式时,不要忘记修改 nodes 配置文件;
  • 2, 在两者之间切换时,若遇到无法正常启动的情况,可以删除所涉及节点的临时文件夹,这样虽然之前的数据会被删掉,但能保证集群正确启动。所以如果集群以前能启动,但后来启动不了,特别是 DataNode 无法启动,不妨试着删除所有节点(包括 Node 节点)上的 /usr/local/hadoop/tmp 文件夹,再重新执行一次 hdfs namenode -format,再次启动试试。

执行分布式实例
  • 执行分布式实例过程与伪分布式模式一样,首先创建 HDFS 上的用户目录:
[hadoop@master ~]$ hdfs dfs -mkdir -p /user/hadoop
将 /usr/local/hadoop/etc/hadoop 中的配置文件作为输入文件复制到分布式文件系统中:
[hadoop@master ~]$ hdfs dfs -mkdir input
[hadoop@master ~]$ hdfs dfs -put /usr/local/hadoop/etc/hadoop/*.xml input

通过查看 DataNode 的状态(占用大小有改变),输入文件确实复制到了 DataNode 中

接着就可以运行 MapReduce 作业了:
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行时的输出信息与伪分布式类似,会显示 Job 的进度。 可能会有点慢,但如果迟迟没有进度,比如 5 分钟都没看到进度,那不妨重启 Hadoop 再试试。若重启还不行,则很有可能是内存不足引起,建议增大虚拟机的内存,或者通过更改 YARN 的内存配置解决。

执行完毕后的输出结果

image

关闭 Hadoop 集群也是在 Master 节点上执行的:
[hadoop@master ~]$ stop-yarn.sh
[hadoop@master ~]$ stop-dfs.sh
[hadoop@master ~]$ mr-jobhistory-daemon.sh stop historyserver

此外,同伪分布式一样,也可以不启动 YARN,但要记得改掉 mapred-site.xml 的文件名。

© 著作权归作者所有

Jevic
粉丝 0
博文 1
码字总数 1763
作品 0
深圳
私信 提问
hadoop 的安装配置教程

Hadoop安装配置简略教程 http://www.powerxing.com/install-hadoop-simplify/ Hadoop安装教程_单机/伪分布式配置 http://www.powerxing.com/install-hadoop/ Hadoop集群安装配置教程 http:/......

haopeng
2015/12/10
61
0
Spark的Standalone模式安装部署

Spark运行模式 Spark 有很多种模式,最简单就是单机本地模式,还有单机伪分布式模式,复杂的则运行在集群中,目前能很好的运行在 Yarn和 Mesos 中,当然 Spark 还有自带的 Standalone 模式,...

Zero零_度
2016/06/04
59
0
Apache Hadoop 入门教程第四章

运行在单节点的 YARN 您可以通过设置几个参数,另外运行 ResourceManager 的守护进程和 NodeManager 守护进程以伪分布式模式在 YARN 上运行 MapReduce job。 以下是运行步骤。 (1)配置 et...

哈斗篷
2018/05/10
0
0
Hadoop完全分布式安装以及配置教程

Hadoop完全分布式安装 在此主要介绍hadoop完全分布式的安装配置。 因为我们硬件设施有限,所以我们采用虚拟机的方式模拟hadoop集群,我们准备建立四台虚拟机,一台机器master作为管理节点,其...

u012045426的博客
2017/12/21
0
0
大数据(hadoop-Hadoop2.7.3伪分布搭建)

安装准备: vmware10 Centos6.5 64位版本 JDK1.8linux32位版 Hadoop2.7.3版本 安装过程讲解:  字符界面安装centos6.5,网络设置为主机模式或者桥连接  配置静态ip 并测试能不能...

这很耳东先生
04/16
22
0

没有更多内容

加载失败,请刷新页面

加载更多

spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
35分钟前
2
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
6
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
8
0
详解箭头函数和普通函数的区别以及箭头函数的注意事项、不适用场景

箭头函数是ES6的API,相信很多人都知道,因为其语法上相对于普通函数更简洁,深受大家的喜爱。就是这种我们日常开发中一直在使用的API,大部分同学却对它的了解程度还是不够深... 普通函数和...

OBKoro1
昨天
7
0
轻量级 HTTP(s) 代理 TinyProxy

CentOS 下安装 TinyProxy yum install -y tinyproxy 启动、停止、重启 # 启动service tinyproxy start# 停止service tinyproxy stop# 重启service tinyproxy restart 相关配置 默认...

Anoyi
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部