文档章节

Hadoop 2.0(YARN/HDFS)学习资料汇总

颜建海
 颜建海
发布于 2014/05/28 15:38
字数 541
阅读 964
收藏 21
本文档整理了迄今为止Hadoop 2.0(包括YARN和HDFS2)相关的一些学习资料,包括文档、技术博客、Hadoop书籍等,欢迎大家补充,我将持续更新这个页面。

1. PDF资料

(1)“Apache Hadoop YARN:Moving beyondMapReduce and Batch Processing” ,YARN  leader Arun Murthy写的一本关于YARN的书籍,目前只有前两章试读(还在编写中,预定明年12月份出版),下载地址。

(2)“Hadoop 0.23 MRv2分析”,由百度工程师编写,他的新浪微博:@大数据的wm,邮箱: infcollector@gmail.com ,这个文档介绍是国内非常早的介绍YARN的资料,我也是从这份资料开始学习的。

(3)“Architecture of Next Generation Apache Hadoop MapReduceFramework”,这份资料来自Hadoop jira,系统全面的介绍了MRv2/YARN的来源、架构和一些内部实现细节。

(4)“Hadoop Security Analysis”, Hadoop 2.0安全机制介绍文档,来自: https://issues.apache.org/jira/browse/HADOOP-9621

这些资料都给出了微盘下载链接,也欢迎大家关注我的新浪微博:西成懂

2. Hadoop 2.0书籍

《Hadoop技术内幕:深入解析YARN架构设计与实现原理》,该书从基本原理到内部实现,全方位介绍了Hadoop 2.0中资源管理系统YARN。具体介绍可登陆官方宣传网站:http://hadoop123.com/

3. 技术博客

(1)Hortonworks中关于YARN的几篇深入分析文章:

Introducing Apache Hadoop YARN

Apache Hadoop YARN – Background and an Overview

Apache Hadoop YARN – Concepts and Applications

Apache Hadoop YARN – ResourceManager

Apache Hadoop YARN – NodeManager

(2)HDFS2剖析方面相当不错的博客:

http://www.sizeofvoid.net/

(3)我的博客,呵呵,主要专注于YARN以及YARN上的计算框架:

http://dongxicheng.org/recommend/

4. Hadoop jira

Hadoop jira是最好的学习资料,里面有大量的PDF文档、栩栩如生的对话和探讨,建议每天都读Hadoop jira,养成习惯,并参与讨论。

HDFS jira:https://issues.apache.org/jira/browse/HDFS

MapReduce jira: https://issues.apache.org/jira/browse/MAPREDUCE

YARN jira:https://issues.apache.org/jira/browse/YARN

原创文章,转载请注明: 转载自董的博客

本文链接地址: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-hdfs-material/

作者:Dong,作者介绍:http://dongxicheng.org/about/

本博客的文章集合:http://dongxicheng.org/recommend/


本文转载自:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-hdfs-material/#comment-32322

颜建海
粉丝 14
博文 141
码字总数 52360
作品 0
厦门
产品经理
私信 提问
Hadoop技术资料汇总(不断更新中)

这些资料都是我在工作中学习、解决问题的资料汇总,我不能保证这里罗列的所有资料对看到的人有用,但大部分都经过我的实际验证。在不断学习和实践过程中,我会不断更新和总结这些资料,同时欢...

九州暮云
05/07
70
0
Hadoop、MapReduce、YARN和Spark的区别与联系

(1) Hadoop 1.0 第一代Hadoop,由分布式存储系统HDFS和分布式计算框架MapReduce组成,其中,HDFS由一个NameNode和多个DataNode组成,MapReduce由一个JobTracker和多个TaskTracker组成,对应...

cuiyaonan2000
2018/05/08
0
0
Spring for Apache Hadoop 2.0 RC2 发布

Spring for Apache Hadoop 2.0 RC2 发布,此版本主要是支持 YARN 应用开发,继续改善对 HDFS 和 MapReduce 的支持;我们可以从 YARN samples 中发现许多 YARN 的特性,下周将会发布新的Sprin...

oschina
2014/04/03
1K
0
大数据学习~Hadoop初识三Yarn模式

我们都知道在如今的Hadoop中主要有三个重要的执行管理器。一个HDFS,一个MapReduce,还有就是我们今天要看的 YARN。 2.0以前的Hadoop 在2.0以前的hadoop中是没有Yarn这个模式管理的。大部分都是...

Mr_zebra
2018/06/29
6
0
HDFS 实验 (四) 集群操作

集群设置 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 用户手册 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdf......

pcdog
2018/04/13
0
0

没有更多内容

加载失败,请刷新页面

加载更多

浅谈prototype原型模式

一、原型模式简介 原型(Prototype)模式是一种对象创建型模式,他采取复制原型对象的方法来创建对象的实例。使用原型模式创建的实例,具有与原型一样的数据。 原型模式的特点: 1、由原型对...

青衣霓裳
12分钟前
2
0
shell mysql 备份

#!/bin/bash time2=$(date "+%Y-%m-%d-%H:%M:%S") /usr/local/mysql/bin/mysqldump -uroot -p ad > /usr/local/mysql/backup/"$time2".sql 变量引用原来是这么用的。......

奋斗的小牛
20分钟前
3
0
Jmeter监控Linux服务器操作

系统:Win7 64位 工具:Jmeter 4.0 要准备好的插件:JMeterPlugins-Standard-1.4.0,ServerAgent-2.2.1 解压JMeterPlugins-Standard-1.4.0.zip,将其中\lib\ext\JMeterPlugins-Standard.jar......

魔鬼妹子
20分钟前
4
0
系列文章:云原生Kubernetes日志落地方案

在Logging这块做了几年,最近1年来越来越多的同学来咨询如何为Kubernetes构建一个日志系统或者是来求助在这过程中遇到一系列问题如何解决,授人以鱼不如授人以渔,于是想把我们这些年积累的经...

Mr_zebra
20分钟前
3
0
入门必备!快速学会用Aspose.Words在表格中插入和删除列!

Aspose.Words For .Net(点击下载)是一种高级Word文档处理API,用于执行各种文档管理和操作任务。API支持生成,修改,转换,呈现和打印文档,而无需在跨平台应用程序中直接使用Microsoft W...

mnrssj
26分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部