文档章节

Hadoop 2.6.0 HA高可用集群配置详解(三)

 云端等你
发布于 2017/04/26 13:26
字数 528
阅读 22
收藏 1

Hadoop集群的启动

集群启动步骤

// 启动zookeeper集群(分别在slave1、slave2和slave3执行)

$ zkServer.shstart

// 启动HDFS(在master1执行)

$ start-dfs.sh

备注:此命令分别在master1/master2节点启动了NameNode和ZKFC,分别在slave1/slave2/slave3节点启动了DataNode和JournalNode,如下图所示。

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

// 启动YARN(在master2执行)

$ start-yarn.sh

备注:此命令在master2节点启动了ResourceManager,分别在slave1/slave2/slave3节点启动了NodeManager。

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

// 启动YARN的另一个ResourceManager(在master1执行,用于容灾)

$ yarn-daemon.sh start resourcemanager

// 启动YARN的安全代理(在master2执行)

$ yarn-daemon.sh start proxyserver

备注:proxyserver充当防火墙的角色,可以提高访问集群的安全性

// 启动YARN的历史任务服务(在master1执行)

$ mr-jobhistory-daemon.sh starthistoryserver

备注:yarn-daemon.sh start historyserver已被弃用;CDH版本似乎有个问题,即mapred-site.xml配置的mapreduce.jobhistory.address和mapreduce.jobhistory.webapp.address参数似乎不起作用,实际对应的端口号是10200和8188,而且部需要配置就可以在任意节点上开启历史任务服务。

集群启动截图

hadoop-master1开启了NameNode、ResourceManager、HistoryServer和ZKFC,如下图所示:
Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)
hadoop-master2开启了NameNode、ResourceManager、ProxyServer和ZKFC,如下图所示:
Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

hadoop-slave1、hadoop-slave2和hadoop-slave3分别开启了DataNode、JournalNode、NodeManager和ZooKeeper,如下图所示:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

Web UI

下图为http://hadoop-master1:50070,可看到NameNode为active状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

下图为http://hadoop-master2:50070,可看到NameNode为standby状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

HDFS还有一个隐藏的UI页面http://hadoop-master1:50070/dfshealth.jsp比较好用:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

下图为http://hadoop-master2:8088,可看到ResourceManager为active状态:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

下图为http://hadoop-master1:8088,可看到ResourceManager为standby状态,它会自动跳转到http://hadoop-master2:8088:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

下图为http://hadoop-master1:19888,可查看历史任务信息:

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

功能测试

// 向HDFS上传数据

$ hadoopfs -put webcount.txt /input

// 查看HDFS上的数据

$ hadoopfs -ls /input

$ hadoopfs -cat /input/webcount.txt

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

// 向YARN提交MapReduce任务,该任务用于分析网站日志文件webcount.txt统计每小时的点击次数

$ hadoopjar mr-webcount-0.0.1-SNAPSHOT.jar com.mr.demo.WebCountDriver/input/webcount.txt /output/webcount 1 1

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

// 在HDFS查看结果

$ hadoopfs -ls /output/webcount

$ hadoopfs -cat /output/webcount/part-r-00000

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

// 通过Web UI查看任务信息和历史任务信息

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

Hadoop 2.6.0 HA高可用集群配置详解(三)Hadoop 2.6.0 HA高可用集群配置详解(三)

本文地址:http://www.linuxprobe.com/hadoop-high-available-3.html

© 著作权归作者所有

粉丝 3
博文 126
码字总数 183841
作品 0
西安
私信 提问
Hadoop 2.6.0 HA高可用集群配置详解

1 Hadoop HA架构详解 1.1 HDFS HA背景 HDFS集群中NameNode 存在单点故障(SPOF)。对于只有一个NameNode的集群,如果NameNode机器出现意外情况,将导致整个集群无法使用,直到NameNode 重新启...

不语者
2016/11/03
318
0
Hadoop-2.6.0集群搭建(多机环境HDFS+YARN,非HA)

Hadoop-2.6.0分布式集群搭建(非HA) 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 master机器解压至 /home/hadoop/hadoop 目录下 设置环境变量 HADOOP_HOME 在hadoop-2....

翻船全靠浪
2016/04/26
38
0
hadoop全分布式高可用方案

集群规划: 主机名 IP 安装的软件 运行的进程 hadoop01 192.168.88.155 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain hadoop02(A)192.168.88.164 jdk、hadoo......

泡海椒
2015/12/20
679
0
大数据教程(11.1)HA机制以及设计思路的分析

上一章介绍了一些hadoop的实战分析案例,本章将介绍hadoop的高可用以及初步认识hive。 一、Hadoop的HA机制 前言:正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制;HA的运作机制:...

em_aaron
01/01
43
0
Hadoop-2.6.0集群搭建(多机环境HDFS HA+YARN HA,推荐)

搭建 HDFS HA 和 ResourceManager HA 集群 下载Hadoop: http://hadoop.apache.org/releases.html 集群规划 HDFS HA说明 Hadoop 2.x中通常由两个NameNode组成,一个处于Active状态,另一个处...

翻船全靠浪
2016/04/25
66
0

没有更多内容

加载失败,请刷新页面

加载更多

cesium调用天地图服务

本文转载于:专业的前端网站➧cesium调用天地图服务 全球矢量地图服务 var viewer = new Cesium.Viewer("cesiumContainer", { animation: false, //是否显示动画控件 baseLayerPi...

前端老手
32分钟前
4
0
Docker常用命令

场景一:镜像下载、运行及删除 COMMAND DESC 查看 docker images 列出所有镜像(images) docker ps 列出正在运行的容器(containers) docker ps -a 列出所有的容器 docker pull centos 下载cen...

_Change_
32分钟前
5
0
Spark ML使用DataFrame进行K-Means

1.前言 前一篇文章使用了RDD的方式,进行了K-Means聚类. 从Spark 2.0开始,程序包中基于RDD的API spark.mllib已进入维护模式.现在,用于Spark的主要机器学习API是软件包中基于DataFrame的API...

一位不知名的帅气网友
35分钟前
4
0
当遇到美女面试官之如何理解Redis的Expire Key(过期键)

  在面试中遇到美女面试官时,我们以为面试会比较容易过,也能好好表现自己技术的时候了。然而却出现以下这一幕,当美女面试官听说你使用过Redis时,那么问题来了。 👩面试官:Q1,你知道...

ccww_
39分钟前
5
0
干货来袭!游戏背景音乐的角色创建和主界面

角色创建/选择 在一些大型的游戏中,例如多人在线的游戏玩家必须创建一个游戏的虚拟人物进行扮演游戏。初次玩这款游戏的人都会进行创建,选择职业起名字性别选择编辑人设样式等等的操作,通常...

奇亿音乐
43分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部