文档章节

第6章-MapReduce的工作机制-笔记

hiqj
 hiqj
发布于 2014/10/16 22:05
字数 346
阅读 37
收藏 1

作业的提交

可以只用一行代码来运行一个MapReduce作业:

    JobClient.runJob(conf)。

作业的调度

Hadoop作业调度演进

1、早期版本的Hadoop使用FIFO调度算法来运行作业

早期版本的Hadoop使用一种非常简单的方法来调度用户的作业:

按照作业提交的顺序,使用FIFO(先进先出)调度算法来运行作业。

2、随后,通过设置mapred.job.priority或JobClient的setJobPriority()方法来设置优先级

3、Hadoop的调度器种类

在Hadoop中,MapReduce的调度器可以选择。

1)、默认的调度器是原始的基于队列的FIFO调度器。

2)、Fair Scheduler 公平调度器

3)、Capacity Scheduler

MapReduce的工作机制相关知识点:

1、通过调用什么代码运行一个MapReduce作业?

   JobClient.runJob(conf);

2、hadoop运行作业的整个过程图解

3、hadoop运行作业的整个过程包含几个独立的实体?

它包含以下4个独立的实体:

    1)、客户端:提交MapReduce作业。

    2)、jobtracker:协调作业的运行。

    jobtracker是一个Java应用程序,它的主类是JobTracker。

    3)、tasktracker:运行作业划分后的任务。

    tasktracker是一个Java应用程序,它的主类是TaskTracker。

    4)、分布式文件系统(一般为HDFS)

    用来在其他实体间共享作业文件。





© 著作权归作者所有

hiqj
粉丝 24
博文 208
码字总数 92586
作品 0
渝北
程序员
私信 提问
【电子书】Hadoop实战手册 (样章第一章)

Hadoop实战手册 [美] Jonathan R. Owens,Jon Lentz,Brian Femiano 著; 傅杰,赵磊,卢学裕 译 内容简介   这是一本Hadoop实用手册,主要针对实际问题给出相应的解决方案。《Hadoop实战手...

dwf07223
2018/06/28
0
0
MapReduce:大型集群上的简单数据处理

MapReduce:大型集群上的简单数据处理 摘要 MapReduce是一个设计模型,也是一个处理和产生海量数据的一个相关实现。用户指定一个用于处理一个键值(key-value)对生成一组key/value对形式的中...

banwh
2017/10/26
65
0
大数据经典学习路线(及供参考)之 一

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念,搭建互联网高并发、高可靠的服务架构; 学完此...

柯西带你学编程
2018/05/22
0
0
第9章-构建Hadoop集群-笔记

控制脚本 Hadoop内置一些脚本来运行指令,在集群内启动和终止守护进程。 这些脚本存放在bin目录中,通过masters和slaves文件指定集群内的所有机器。 1、masters文件,主要记录运行辅助namen...

hiqj
2014/09/15
226
0
Hadoop中的MapReduce(5)

在MapReduce中,它也是主从结构,主节点:JobTracker,从节点:TaskTracker。主节点只有一个从节点有很多个,主节点在主机上,从节点分布到其他机器上。 JobTracker: 作用: 1、负责接收用户...

肖鋭
2014/02/23
108
0

没有更多内容

加载失败,请刷新页面

加载更多

setState() called after dispose() flutter

# 在setState前加入以下判断if (!mounted) return;

zdglf
20分钟前
3
0
docker和docker-compose二种方式安装mysql8.0

Docker方式安装 在命令行下运行 docker run -d -p 3306:3306 --restart always --privileged=true--name mysql-e MYSQL_USER="test" -e MYSQL_PASSWORD="test" -e MYSQL_ROOT_PASSWOR......

小白的成长
28分钟前
5
0
五大网络威胁应对挑战

既然如此,那么威胁的检测和响应过程是否像生产瑞士手表那样高效运行呢?答案远非如此。据ESG报告显示,威胁检测和响应过程充满各种各样的问题。来自372名企业网络安全和IT专家的数据,以下是...

linuxCool
30分钟前
4
0
jQuery 选择器使用大全(标签选择器,ID选择器等)

jQuery的选择器是CSS 1-3,XPath的结合物。jQuery提取这二种查询语言最好的部分,融合后创造出了最终的jQuery表达式查询语言。如果你了解CSS(绝大部分WEB开发者都用到的),那么你学起来就很...

前端老手
35分钟前
4
0
HBase四种部署模式和基本操作

本文主要包括两部分的内容,第一部分主要包HBase的四种安装方法,分别是:① 单机版模式,② 伪集群模式,③ 使用HBase自带的zookeeper构建分布式集群,④ 使用独立安装的zookeeper构建分布式...

繁荣3000
43分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部