文档章节

HDFS 和 YARN 添加了性能的基准测试集

超人学院
 超人学院
发布于 2016/07/08 17:46
字数 347
阅读 122
收藏 1

其中 HDFS 测试包括:
( 1 )dfsio基准测试 HDFS I/O 读写性能
( 2 )slive基准测试NameNode内部操作的性能
( 3 ) scan 基准测试MapReduce作业访问 HDFS 的 I/O 性能
( 4 ) shuffle 基准测试 shuffle 阶段性能
( 5 ) compression 基准测试MapReduce作业中间结果和最终结果的压缩性能
( 6 ) gridmix-V3 基准测试集群吞吐率
YARN 测试包括 :
( 1 )ApplicationMaster扩展性基准测试
主要测试调度 task/container 的性能。与 1.0 版本比较,大约快 2 倍。
( 2 )ApplicationMaster恢复性基准测试
测试 YARN 重启后,作业恢复速度。稍微解释一下ApplicationMaster恢复作业的功能:在作业执行过程中, Application Master 会不断地将作业运行状态保存到磁盘上,比如哪些任务运行完成,哪些未完成等,这样,一旦集群重启或者 master 挂掉,重启后,可复原各个作业的状态,并只需重新运行未运行完成的哪些任务。
( 3 )ResourceManager扩展性基准测试
通过不断向Hadoop集群中添加节点测试 RM 的扩展性。
( 4 )小作业基准测试
专门测试批量小作业的吞吐率

了解更多详情请登录超人学院网站http://www.crxy.cn?sxy或者关注超人学院微信号:CRXY-CN

© 著作权归作者所有

超人学院
粉丝 114
博文 335
码字总数 388917
作品 0
昌平
CTO(技术副总裁)
私信 提问
Hadoop 2.0集群配置详细教程

Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包...

cnxk
2013/12/05
113
0
安装一个单节点的 Hadoop 分布式系统

构建 MapReduce Tar包 你可以获取 MapReduce 的tar包,也可以从源码中构建这个tar包 注意: 你需要使用 2.4.1 或者更新版本的 protoc 如果你想忽略 mapreduce 内置的构建,可以忽略 maven 的 ...

oschina
2013/07/23
1K
0
HDFS 实验 (四) 集群操作

集群设置 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-common/ClusterSetup.html 用户手册 http://hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdf......

pcdog
2018/04/13
0
0
Hadoop--4.Hadoop安装配置

一、下载 1.下载hadoop [root@master ~]# cd /usr/local/src/ [root@master src]# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz 2.官网下载地址(......

Kry1702
2018/06/28
0
0
使用IDEA 搭建 spark on yarn 的开发环境+调试~

1.导入yarn和hdfs配置文件 因为spark on yarn 是依赖于yarn和hdfs的,所以获取yarn和hdfs配置文件是首要条件,将core-site.xml、hdfs-site.xml 、yarn-site.xml 这三个文本考入到你IDEA项目里...

qq_31806205
2018/05/25
0
0

没有更多内容

加载失败,请刷新页面

加载更多

UAVStack功能上新:新增JVM监控分析工具

UAVStack推出的JVM监控分析工具提供基于页面的展现方式,以图形化的方式展示采集到的监控数据;同时提供JVM基本参数获取、内存dump、线程分析、内存分配采样和热点方法分析等功能。 引言 作为...

宜信技术学院
8分钟前
1
0
MySQL的5种时间类型的比较

日期时间类型 占用空间 日期格式 最小值 最大值 零值表示 DATETIME 8 bytes YYYY-MM-DD HH:MM:SS 1000-01-01 00:00:00 9999-12-31 23:59:59 0000-00-00 00:00:00 TIMESTAMP 4 bytes YYYY-MM......

物种起源-达尔文
15分钟前
3
0
云服务OpenAPI的7大挑战,架构师如何应对?

阿里妹导读:API 是模块或者子系统之间交互的接口定义。好的系统架构离不开好的 API 设计,而一个设计不够完善的 API 则注定会导致系统的后续发展和维护非常困难。比较好的API设计样板可以参...

阿里云官方博客
18分钟前
1
0
Rancher + VMware PKS实现全球数百站点的边缘K8S集群管理

Sovereign Systems是一家成立于2007年的技术咨询公司,帮助客户将传统数据中心技术和应用程序转换为更高效的、基于云的技术平台,以更好地应对业务挑战。曾连续3年提名CRN,并且在2012年到2...

RancherLabs
23分钟前
2
0
6、根据坐标,判断该坐标是否在地图区域范围内

最近在写配送区域相关的代码,具体需求如下: 根据腾讯地图划分配送区域,总站下边设多个配送分站,然后将订单中的收货地址将其分配给不同的配送分站。 1、地图区域划分(腾讯地图) 1.1、H...

有一个小阿飞
25分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部