文档章节

hadoop2.0新特性剖析及应用 学习笔记

jim19770812
 jim19770812
发布于 2014/08/20 00:07
字数 332
阅读 53
收藏 1

Hadoop 1.0

Ambari 安装部署工具,专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统,用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎

Hadoop 2.0概述

Ambari安装部署工具,专门统一安装和部署Hadoop所有组件
Oozie是个作业流任务调度系统,用来调度hive,pig,mahout任务的执行
Pig是个工作流引擎
Yarn是个分布式计算框架,管理整个集群的资源

HDFS2.0新特性

HA 单点故障的解决方案,支持多个Name Node,解决了内存受限的问题。提供了standby Name Node,相当与从Name Node,当主NameNode挂掉后可以自动切换
异构层级存储结构,集群中支持多种异构介质,如磁盘,RAM,SSD等。
HDFS ACL,实现和linux的文件/目录权限类似的功能
HDFS 快照,防止误删除和数据备份,每个目录都可以显式的设置快照
HDFS缓存,默认是无缓存
Yarn History Server,提供执行历史查询功能,方便调优

MapReduce变成了客户端类库

运行环境由JobTracker和TaskTracker组成
JobTracker只能对MapReduce作业进行资源管理和任务调度



© 著作权归作者所有

jim19770812
粉丝 21
博文 46
码字总数 27704
作品 0
济南
私信 提问
Hadoop概括——学习笔记转

前言 第一章主要讲的是hadoop基础知识。老师讲的还是比较全面简单的,起码作为一个非专业码农以及数据库管理人员,也能狗大致了解其特点 首先是概括图(以hadoop2.0为例) 一、Hadoop基础架构...

长征2号
2017/10/31
0
0
ASP.NET Core 2 High Performance 目录和读书笔记

ASP.NET Core 2 High Performance 大概的翻看了一下这本书,这本C# 7 and .NET Core 2.0 High Performance内容要好很多,这里先放出对应目录,有兴趣的朋友,可以到中国最大IT盗版书网站里找...

yahle
2018/11/29
0
0
Nhibernate 3.00

发布 刚刚NHibernate的Leader——Fabio Maulo发布了NHibernate 3.0.0.Alpha1版本,这是NHibernate 3.0.0的第一个公开测试版本。 下载地址 你可以到这里下载NHibernate 3.0.0.Alpha1,基于.Ne...

李永波
2010/08/05
0
1
《Greenplum:从大数据战略到实践》读者技术沙龙 第一场

活动介绍 Greenplum官方技术教程、《数字化三部曲》之二--《Greenplum:从大数据战略到实践》即将全新发布。这部以全媒体思维打造的技术著作,凝聚了Greenplum研发团队的创新智慧。为了给技...

Greenplum中文社区
04/24
0
0
YourKit 10.0 发布,Java和.NET剖析工具

YourKit Java Profiler 是业界领先的Java和.NET的剖析工具。CPU和内存的剖析历来是很困难的,YourKit创造出了革命性的剖析工具,应用在研发和生产阶段,为专业的Java和.NET开发者带来了无比的...

红薯
2011/09/27
818
1

没有更多内容

加载失败,请刷新页面

加载更多

定时获取服务器时间戳的一个类(Typescript)

export class TimeStampService { private _local_timestamp: number; // 本地时间戳 private _server_timestamp: number; // 服务器端时间戳 private _duration: number = 1......

lilugirl
18分钟前
0
0
前段技术总结

前端UI框架组件库: 说到前端框架我第一印象中想起React、Vue和Angular,不知道你是否与我一样想到这些,现在常用的有:Bootstrap、jQuery UI、BootMetro、AUI常用的还有很多、就不一一跟大家...

WinkJie
37分钟前
0
0
对话亲历者|鲁肃:我在支付宝“拧螺丝“的日子

摘要: 他是支付宝技术平台的奠基人之一,但是他总说“这还不是我心中最完美的架构”;他行事低调但却有着“此时此地,非我莫属”的豪气;他曾无数次充当救火大队长,但自评只是“没有掉队的...

阿里云云栖社区
45分钟前
4
0
设置 npm yarn 淘宝源

设置npm config set chromedriver_cdnurl=http://cdn.npm.taobao.org/dist/chromedriver设置yarn config set "chromedriver_cdnurl" "https://npm.taobao.org/mirrors/chromedriver"......

internetafei
54分钟前
2
0
Docker搭建Mysql集群、主从同步复制

1、创建数据挂载点: mkdir /opt/mysql-master/mysql、/opt/mysql-master/conf.d、/opt/mysql-slave/mysql、/opt/mysql-slave/conf.d 2、分别在master、slave节点文件目录conf.d下创建touch......

WALK_MAN
今天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部