文档章节

hadoop1.x 和 hadoop 2.x 区别, 2.5 2.6 2.7之间的区别

闵开慧
 闵开慧
发布于 2017/02/14 11:24
字数 1255
阅读 109
收藏 0
点赞 0
评论 0

1.x 2.x 区别 相当不错 http://f.dataguru.cn/thread-212329-1-1.html

2.5.2中功能提升的简单概述:

Common

  1、 HTTP proxy server中的权限控制(Authentication)有所提升。如果你通过代理服务器(proxy server)来访问WebHDFS 是很有用的。
  2、新增了一个Hadoop metrics sink,允许用户直接向Graphite写数据;
  3、 Hadoop Compatible Filesystem (HCFS) ,模块也做也想过的工作。

HDFS

  1、支持POSIX风格文件系统的扩展属性,详情请参见文档http://hadoop.apache.org/docs/r2.5.2/hadoop-project-dist/hadoop-hdfs/ExtendedAttributes.html
  2、通过WebHDFS API,clients可以利用OfflineImageViewer浏览fsimage;
  3、NFS gateway修复了一些bug,并带来了一系列的功能提升。 Hadoop portmapper 不再需要运行gateway,因为gateway现在能够拒绝来自非特权端口上的连接请求;
  4、SecondaryNameNode, JournalNode和DataNode web UIs页面已经用HTML5JavaScript重写了。

YARN

  1、YARN中REST APIs现在支持写、更改操作。用户可以通过REST APIs来提交或者杀死作业。
  2、YARN中存储的timeline,用于存储application中的一般或者特殊信息,目前支持Kerberos安全控制。
  3、Fair Scheduler支持用户队列的动态分级,用户可以在任何父队列中动态的创建队列

  更多的更新信息请参见Apache Hadoop 2.5.2的用户文档http://hadoop.apache.org/docs/r2.5.2/index.html
  

2.6

Hadoop Common

  1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器,它是一个Java web应用程序,内部提供了客户端和服务器组建,它们之间通过REST API在HTTP协议上通信。客户端是KeyProvider的一种实现,并通过KMS HTTP REST API和KMS交互。KMS和它的客户端内置了安全机制,支持HTTP SPNEGO Kerberos授权和HTTPS安全传输。Hadoop KMS对Hadoop和Hadoop用户来说是一个安全网关。它为现有的Hadoop安全组建(authenticatication, confidentiality)提供了相应的接口。(HADOOP-10433)
  2、Credential provider(beta版本)。它是credential providers内部提供管理credentials, passwords and secrets的命令(HADOOP-10922、HADOOP-11031、HADOOP-10607)

Hadoop HDFS

  1、异构的存储层进入到第二阶段,主要更新有:(1)、异构存储的应用程序API;(2)、SSD存储层;(3)、内存作为存储层(beta版本)。
  2、支持Archival存储
  3、Transparent data at rest encryption
  4、操作安全的DataNode,无需root访问权限(Operating secure DataNode without requiring root access)。
  5、热插拔驱动器,支持动态的添加、删除DataNode上面的磁盘,而不需要重启DataNode(beta版本)。
  6、AES(Advanced Encryption Standard)支持快速的wire encryption。

Hadoop YARN

  1、在YARN中支持长时间运行的服务,支持应用程序的服务注册。
  2、支持滚动升级:(1)、ResourceManager上的工作可以保存起来,并可以继续运行;(2)、NodeManager上的Container可以保存起来,,并可以继续运行。
  3、Support node labels during scheduling;
  4、在CapacityScheduler中支持基于时间的资源保留(beta版本);
  5、为application artifacts提供了一个全局的,共享内存(beta版本);
  6、支持在Docker容器中本地地运行applications(alpha版本)。

2.7

从2.7版本开始, Hadoop 依赖于 Java 7. It is built and tested on both OpenJDK and Oracle (HotSpot)’s JDK/JRE.

Hadoop Common

  1、支持Windows Azure Storage,BLOB作为Hadoop中的文件系统。

Hadoop HDFS

  1、支持文件截断(file truncate);
  2、支持每个存储类型配额(Support for quotas per storage type);
  3、支持可变长度的块文件

Hadoop YARN

  1、YARN安全模块可插拔
  2、YARN的本地化资源可以自动共享,全局缓存(测试版)

Hadoop MapReduce

  1、能够限制运行的Map/Reduce作业的任务
  2、为非常的大Job(有许多输出文件)加快了FileOutputCommitter。

2.7

2.7.0 非稳定版 -> 2.7.1(stable, 06 July, 2015) 2.7.2

Hadoop Common

  1、支持Windows Azure Storage,BLOB作为Hadoop中的文件系统。

Hadoop HDFS

  1、支持文件截断(file truncate);
  2、支持每个存储类型配额(Support for quotas per storage type);
  3、支持可变长度的块文件

Hadoop YARN

  1、YARN安全模块可插拔
  2、YARN的本地化资源可以自动共享,全局缓存(测试版)

Hadoop MapReduce

  1、能够限制运行的Map/Reduce作业的任务
  2、为非常的大Job(有许多输出文件)加快了FileOutputCommitter。

2.7.2

Here is a short overview of the major features and improvements.

Common

Authentication improvements when using an HTTP proxy server. This is useful when accessing WebHDFS via a proxy server.
A new Hadoop metrics sink that allows writing directly to Graphite.
Specification work related to the Hadoop Compatible Filesystem (HCFS) effort.
HDFS

Support for POSIX-style filesystem extended attributes. See the user documentation for more details.
Using the OfflineImageViewer, clients can now browse an fsimage via the WebHDFS API.
The NFS gateway received a number of supportability improvements and bug fixes. The Hadoop portmapper is no longer required to run the gateway, and the gateway is now able to reject connections from unprivileged ports.
The SecondaryNameNode, JournalNode, and DataNode web UIs have been modernized with Html5 and Javascript.
YARN

YARN’s REST APIs now support write/modify operations. Users can submit and kill applications through REST APIs.
The timeline store in YARN, used for storing generic and application-specific information for applications, supports authentication through Kerberos.
The Fair Scheduler supports dynamic hierarchical user queues, user queues are created dynamically at runtime under any specified parent-queue.

本文转载自:http://blog.csdn.net/caib1109/article/details/51719413

共有 人打赏支持
闵开慧
粉丝 334
博文 600
码字总数 266601
作品 0
青浦
高级程序员
Hadoop基础之HA(高可用)

1.Hadoop2.0产生背景 早期的hadoop版本,NN(namenode)是HDFS集群的单点故障点,每一个集群只有一个NN,如果这个机器或进程不可用,整个集群就无法 使用。为了解决这个问题,出现了一堆针对HDF...

landy8530 ⋅ 2017/11/25 ⋅ 0

Python2.x与3.x版本区别

Python的3.0版本,常被称为Python 3000,或简称Py3k。相对于Python的早期版本,这是一个较大的升级。 为了不带入过多的累赘,Python 3.0在设计的时候没有考虑向下相容。 许多针对早期Python版...

Airship ⋅ 2015/11/12 ⋅ 0

第一章《数据之路,始于Hadoop》第一节 Hadoop 基础介绍

第一节 hadoop介绍 大数据时代最重要的论文是Google三篇,分布讲述了GFS、MapReduce和BigTable。而依照前两篇论文设计的开源项目Hadoop,则迅速风靡,成为了大数据行业的事实标准。Google的论...

王二铁 ⋅ 2016/04/21 ⋅ 0

hadoop 2.6.x line 和2.7.x line 区别

hadoop 2.6 line 包括三部分 Hadoop Common   1、Key management server (beta版本)。Hadoop KMS是基于KeyProvider API的密钥管理服务器,它是一个Java Web应用程序,内部提供了客户端和服...

提广乾 ⋅ 2016/08/29 ⋅ 0

Google App Engine 正式支持 Python 2.7

最近,Google在其Google App Engine(以下简称GAE)官方博客上宣布正式支持Python 2.7,对开发者来说又多了一种选择。 GAE在几个月之前实验性的引入了Python 2.7环境,此后一直在修改缺陷和进...

威廉亨利 ⋅ 2012/03/02 ⋅ 12

Datax与hadoop2.x兼容部署与实际项目应用工作记录分享

一、概述 Hadoop的版本更新挺快的,已经到了2.4,但是其周边工具的更新速度还是比较慢的,一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善,特别是sqoop。最近,在为hadoop2.2.0找适合...

zengzhaozheng ⋅ 2014/08/15 ⋅ 0

hadoop1.x和2.x的一些主要区别

当我们安装完毕hadoop2的时候,我们看到为啥没有jobtracker,这是因为hadoop2中已经没有jobtracer了,而是产生了yarn,yarn是什么那,可以看yarn详解,我们为什么已经安装了,但是却不知道已...

chenkechao ⋅ 2016/11/23 ⋅ 0

python2.x和python3.x的区别

Python的3.0版本,常被称为Python3000,或简称Py3k。相对于Python的早期版本,这是一个较大的升级。 为了不带入过多的累赘,Python3.0在设计的时候没有考虑向下相容。许多针对早期Python版本...

leejia1989 ⋅ 05/30 ⋅ 0

编译hadoop2.x的hadoop-eclipse-plugin和配置

一、编译 1.安装jdk,并且配置好环境变量。 2.eclipse已经下载并且配置好了。 3.安装ant,并且配置好了环境变量。 4.hadoop包在windows本地已经有了,要和hadoop集群上的hadoop包一样,eclip...

cjun1990 ⋅ 2015/07/06 ⋅ 0

Python高手之路笔记-(1)

第一章 1.1 Python版本 1. 2.x版本 2.5以及更老的版本 目前实际上已经废弃,不需再去支持它们。 2.6版本 只有在旧版本操作系统如:Red Hat企业版Linux上发现。 2.7版本 是2.x的最后一个版本,...

tonight ⋅ 2017/10/22 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

大数据工程师需要精通算法吗,要达到一个什么程度呢?

机器学习是人工智能的一个重要分支,而机器学习下最重要的就是算法,本文讲述归纳了入门级的几个机器学习算法,加大数据学习群:716581014一起加入AI技术大本营。 1、监督学习算法 这个算法由...

董黎明 ⋅ 33分钟前 ⋅ 0

Kylin 对维度表的的要求

1.要具有数据一致性,主键值必须是唯一的;Kylin 会进行检查,如果有两行的主键值相同则会报错。 2.维度表越小越好,因为 Kylin 会将维度表加载到内存中供查询;过大的表不适合作为维度表,默...

无精疯 ⋅ 36分钟前 ⋅ 0

58到家数据库30条军规解读

军规适用场景:并发量大、数据量大的互联网业务 军规:介绍内容 解读:讲解原因,解读比军规更重要 一、基础规范 (1)必须使用InnoDB存储引擎 解读:支持事务、行级锁、并发性能更好、CPU及...

kim_o ⋅ 40分钟前 ⋅ 0

代码注释中顺序更改 文件读写换行

`package ssh; import com.xxx.common.log.LogFactory; import com.xxx.common.log.LoggerUtil; import org.apache.commons.lang3.StringUtils; import java.io.*; public class DirErgodic ......

林伟琨 ⋅ 48分钟前 ⋅ 0

linux实用操作命令

参考 http://blog.csdn.net/qwe6112071/article/details/50806734 ls [选项] [目录名 | 列出相关目录下的所有目录和文件 -a 列出包括.a开头的隐藏文件的所有文件-A 同-a,但不列出"."和"...

简心 ⋅ 今天 ⋅ 0

preg_match处理中文符号 url编码方法

之前想过直接用符号来替换,但失败了,或者用其他方式,但有有些复杂,这个是一个新的思路,亲测可用 <?php$str='637朗逸·超速新风王(300)(白光)'; $str=iconv("UTF-8","GBK",$s...

大灰狼wow ⋅ 今天 ⋅ 0

DevOps 资讯 | PostgreSQL 的时代到来了吗 ?

PostgreSQL是对象-关系型数据库,BSD 许可证。拼读为"post-gress-Q-L"。 作者: Tony Baer 原文: Has the time finally come for PostgreSQL?(有删节) 近30年来 PostgreSQL 无疑是您从未听...

RiboseYim ⋅ 今天 ⋅ 0

github太慢

1:用浏览器访问 IPAddress.com or http://tool.chinaz.com 使用 IP Lookup 工具获得github.com和github.global.ssl.fastly.net域名的ip地址 2:/etc/hosts文件中添加如下格式(IP最好自己查一...

whoisliang ⋅ 今天 ⋅ 0

非阻塞同步之 CAS

为解决线程安全问题,互斥同步相当于以时间换空间。多线程情况下,只有一个线程可以访问同步代码。这种同步也叫阻塞同步(Blocking Synchronization). 这种同步属于一种悲观并发策略。认为只...

长安一梦 ⋅ 今天 ⋅ 0

云计算的选择悖论如何对待?

人们都希望在工作和生活中有所选择。但心理学家的调查研究表明,在多种选项中进行选择并不一定会使人们更快乐,甚至不会产生更好的决策。心理学家Barry Schwartz称之为“选择悖论”。云计算为...

linux-tao ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部