文档章节

Hadoop Mapreduce架构--Hadoop技术内幕读书笔记

fmz
 fmz
发布于 2014/04/01 22:46
字数 690
阅读 361
收藏 5

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

1、Client

用户编写的MapReduce程序通过Client提交到JobTracker端;同时,用户可通过Client提供的一些接口查看作业运行状态。在Hadoop内部用“作业”Job表示MapReduce程序。一个MapReduce程序可对应若干个作业,而每个作业会被分解成若干个Map/Reduce任务(Task)。

2、JobTracker

JobTracker主要负责作业调度和资源监控。

作业调度:监控所有TaskTracker与作业的健康状况,一旦发现失败情况后,其会将相应的任务转移到其它节点。

资源监控:JobTracker会跟踪任务执行进度、资源使用量等信息,并将这些信息告诉任务调度器,而调度器会在资源出现空闲时,选择合适的任务使用这些资源。在Hadoop中任务调度器是一个可插拨的模块,可自行设计。

3、TaskTracker

TaskTracker会周期性地通过Heartbeat将本节点上资源的使用情况和任务的运行进度汇报给JobTracker,同时接收JobTracker发送过来的命令并执行相应的操作(如启动新任务、杀死任务等)。

TaskTracker使用"slot"等量划分本节点上的资源量。”slot“代表计算资源。一个Task获取一个slot后才有机会运行。而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分配给Task使用。slot分为Map slot和Reduce slot两种,分别供Map Task和Reduce Task使用。TaskTracker通过slot数目限定Task的并发度。

4、Task

Task分为Map Task 和Reduce Task两种,均由TaskTracker启动。HDFS以固定大小的block为基本单位存储数据,而对MapReduce而言,其处理单位是split。split与block的对应关系如下图

split是一个逻辑概念,它只包含一些元数据信息,比如数据起始位置、数据长度、数据所在节点等.划分方法完全由用户自己决定。split的多少决定Map Task数量,一个split对应一个Map Task。


Map Task执行过程如下图:

Map Task先将对应的split迭代解析成一个key/value对,依次调用map函数进行处理,并将处理结果存放在本地磁盘,其中临时数据被分为若干个partition,每个partition将被一个Reduce Task处理。


Reduce Task执行过程如下图:

该过程分为三个阶段:1、shuffle阶段,从远程节点上读取Map Task中间结果;2、Sort阶段,按照key对key/value进行排序;3、reduce阶段,依次读取<key,value list>,调用reduce函数处理,并存入HDFS。




© 著作权归作者所有

fmz

fmz

粉丝 22
博文 3
码字总数 1706
作品 0
美国
程序员
私信 提问
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
Hadoop学习笔记(1):概念和整体架构

hadoop简介和历史   Hadoop架构体系   Master和Slave节点   数据分析面临的问题和Hadoop思想   由于工作原因,必须学习和深入一下Hadoop,特此记录笔记。   什么是hadoop?   Apa...

ugali
2018/06/26
0
0
Hadoop的辉煌还能延续多久?

Hadoop技术已经无处不在。不管是好是坏,Hadoop已经成为大数据的代名词。短短几年间,Hadoop从一种边缘技术成为事实上的标准。看来,不仅现在Hadoop是企业大数据的标准,而且在未来,它的地位...

一枚Sir
2014/08/05
246
0
Hadoop 2.0(YARN/HDFS)学习资料汇总

本文档整理了迄今为止Hadoop 2.0(包括YARN和HDFS2)相关的一些学习资料,包括文档、技术博客、Hadoop书籍等,欢迎大家补充,我将持续更新这个页面。 1. PDF资料 (1)“Apache Hadoop YARN:...

颜建海
2014/05/28
992
0
Hadoop简要介绍

本文大部分内容都是从官网Hadoop上来的。其中有一篇介绍HDFS的pdf文档,里面对Hadoop介绍的比较全面了。我的这一个系列的Hadoop学习笔记也是从这里一步一步进行下来的,同时又参考了网上的很...

晨曦之光
2012/03/09
237
0

没有更多内容

加载失败,请刷新页面

加载更多

dynamic-connectivity 动态连通性问题之 quick-union 算法

quick-union 的思想是:若对象 p 的 root_id 和对象 q 的 root_id 相等,则认为 p 和 q 连通。 若要将对象 p 和对象 q 连通(已知两对象未连通),则将 p 的 root_id 的值设为 q 的 root_id ...

Phpythoner_Alei
今天
40
0
OSChina 周六乱弹 —— 实在选不出来就唱国歌

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @花间小酌 :#今日歌曲推荐# 分享阿冗的单曲《你的答案》。--祝大家在2020年都找到自己答案。 《你的答案》- 阿冗 手机党少年们想听歌,请使劲...

小小编辑
今天
25
1
Maven打包可执行Jar包的方法

在使用Java开发中,会使用到将工程打包成可执行的jar包的情况,那么在maven中怎么将项目中的依赖包都添加到jar中呢。在pom.xml中添加一下插件: <build><plugins><plugin><ar...

CapJes
今天
13
0
使用vue 开发地图类系统(openlayers.js)的注意。

使用vue 开发地图类系统的注意。 1、使用地图应该创建的对象 少使用 vue 的data 和计算属性(comments)存数据或是vuex。 为什么要要注意这个问题呢? 答:这个就要了解到vue的实现原理 。原理...

DY-Tao
昨天
10
0
web移动端学习:高德地图demo(一)

在高德地图开发中申请开发者资格,然后在控制台中新建应用,获得KEY; 新建模板HTML文件; <!DOCTYPE html><html lang="en"><head><meta charset="UTF-8"><title>地图demo</title><scri......

dxiya
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部