文档章节

hadoop 基准测试与读写测试

月下独酌100
 月下独酌100
发布于 2015/07/13 16:31
字数 173
阅读 118
收藏 0

hadoop 基准测试与读写测试

排序100G数据

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar teragen 1000000000 /tmp/test/terasort/100G-input

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar terasort /tmp/test/terasort/100G-input /tmp/test/terasort/100G-output

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.2.jar teravalidate /tmp/test/terasort/100G-output /tmp/test/terasort/100G-validate



测试读写性能

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 10000

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 10000

/opt/cloudera/parcels/CDH/bin/yarn jar /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/hadoop-mapreduce-client-jobclient-tests.jar TestDFSIO -clean


参考:

http://www.opstool.com/article/249

http://jeoygin.org/2012/12/hadoop-benchmarks.html


© 著作权归作者所有

月下独酌100
粉丝 26
博文 220
码字总数 56475
作品 0
浦东
高级程序员
私信 提问
HDFS 和 YARN 添加了性能的基准测试集

其中 HDFS 测试包括: ( 1 )dfsio基准测试 HDFS I/O 读写性能 ( 2 )slive基准测试NameNode内部操作的性能 ( 3 ) scan 基准测试MapReduce作业访问 HDFS 的 I/O 性能 ( 4 ) shuffle 基...

超人学院
2016/07/08
139
0
SQL on Hadoop 和 SQL off Hadoop 介绍

  【IT168 资讯】最初,Apache Hadoop被视为是批处理非结构化数据的平台。从本质上讲,Hadoop是一种存储和处理大量数据的廉价又可靠的方式,吸引了更多的客户。   随着时间的推移,Data ...

it168网站
2017/11/07
0
0
Hadoop 3.0版本测试,终将计算与存储解耦!

  【IT168 评论】传统的Hadoop架构是建立在相信通过大规模分布式数据处理获得良好性能的唯一途径是将计算带入数据。在本世纪初,这确实是事实。当时,典型的企业数据中心的网络基础架构不能...

it168网站
2018/05/07
0
0
Hadoop 2.0集群配置详细教程

Hadoop 2.0集群配置详细教程 前言 Hadoop2.0介绍 Hadoop是 apache 的开源 项目,开发的主要目的是为了构建可靠,可拓展 scalable ,分布式的系 统, hadoop 是一系列的子工程的 总和,其中包...

cnxk
2013/12/05
113
0
文件系统性能自动化测试工具--Bonnie++

Bonnie++ 是一款文件系统的基准性能自动化测试工具,包括测试文件系统的读写能力、查找能力、创建新文件的能力,它通过一系列的简单测试来生成文件系统的性能参数。其主程序提供两种风格的测...

匿名
2011/08/10
994
0

没有更多内容

加载失败,请刷新页面

加载更多

CentOS7 部署 redis 5.0.6 集群

环境 操作系统: CentOS7.7,关闭 firewalld 和 selinux Redis: 5.0.6 master 实例 10.0.4.110:6371 10.0.4.110:6372 10.0.4.110:6373 slave 实例 10.0.4.111:6371 10.0.4.111:6372 10.0.4.1......

俊赛潘安-才比管乐
16分钟前
22
0
怎么录制电脑上视频素材的声音

随着短视频的不断发展人们越来越喜欢利用空闲时间观看一些短视频用以打发零碎的时间,不少人发现这个机遇也匆匆走上制作短视频的道路,在制作短视频时配音是至关重要的,那你知道怎么在视频素...

cenfeng123
24分钟前
4
0
[springboot 开发单体web shop] 6. 商品分类和轮播广告展示

商品分类&轮播广告 因最近又被困在了OSGI技术POC,更新进度有点慢,希望大家不要怪罪哦。 上节 我们实现了登录之后前端的展示,如: 接着,我们来实现左侧分类栏目的功能。 商品分类|Produc...

IsaacZhang
25分钟前
3
0
java 静态代码块,代码块,构造方法执行顺序

回顾一下java的执行顺序 public class Demo { public Demo() { super(); System.out.println("this is Demo"); } static { System.out.println("this is static"); } { System.out.println("......

漫步行者
44分钟前
7
0
滴滴面试题答案思路

1.mysql 1.1.介绍下介绍下innodb的索引类型、数据结构 普通索引,唯一索引,主键索引:也就是聚簇索引,全文索引(FULLTEXT),聚集索引,非聚集索引等。 数据结构B+树: B+树特点 1.矮胖型,...

指尖Coding
46分钟前
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部