文档章节

大数据测试 VS 传统数据库测试 & 测试环境需求

henni_719
 henni_719
发布于 2017/03/14 17:25
字数 457
阅读 20
收藏 0

大数据测试 VS 传统数据库测试

类型

传统数据库测试

大数据测试

数据

结构化数据

结构化数据和非结构化数据

测试方法是明确定义和时间测试

测试方法需要集中的研发工作(R&D efforts)

测试人员可以选择“Sampling”策略进行手动或可以选择“Exhaustive Verification”策略进行自动化测试

"Sampling"策略在大数据测试有很大的挑战

基础设施

不需要特殊的测试环境,因为文件大小有限

需要特殊的测试环境,因为大数据量和文件(HDFS

验证工具

测试程序使用基于Excel的宏或基于UI的自动化工具

没有定义的工具,范围很广从编程工具如MapReduceHIVEQL

拥有基本的操作知识和较少的培训就可以使用测试工具

需要一套特定的技能和培训来操作测试工具。此外,工具处于新生阶段,随着时间的发展也许会带来新的功能。


测试环境需求

测试环境需求取决于要测试的应用程序的类型。对于大数据测试,测试环境应包括:

1.它应该有足够的空间用于存储和处理大量的数据

2.它应该具有分布式节点和数据的集群

3.它应该具有最低的CPU和内存利用率,以保持性能高



大数据场景使用的工具

大数据集群

大数据工具

NoSQL

CouchDB, MongoDB, Cassandra, Redis, ZooKeeper, Hbase

MapReduce

Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume

Storage

S3, HDFS ( Hadoop Distributed File System)

Servers

Elastic, Heroku, Elastic, Google App Engine, EC2

Processing

R, Yahoo! Pipes, Mechanical Turk, BigSheets, Datameer


本文转载自:http://blog.csdn.net/henni_719/article/details/54912954

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
文档型 NoSQL 数据库 SequoiaDB 正式宣布开源

文档型 NoSQL 数据库 SequoiaDB (巨杉数据库)正式宣布开源, 项目源码已经托管到 Git@OSC,地址是: http://git.oschina.net/wangzhonnew/SequoiaDB 2014年12月19日,文档型 NoSQL 数据库 ...

oschina
2014/12/19
8.7K
82
胖子哥的大数据之路(三)- 大数据仓库的需求分析该怎么做

一、引言   基于大数据技术构建数据仓库平台,源于大数据技术本身的不成熟和普及度问题,以及辅助工具的缺失,注定了其实施过程与传统数据仓库的差异性,和 更大的实施难度。本文针对大数据...

张子良
2014/02/20
1K
0
解析大数据基准测试——TPC-H or TPC-DS

转自:https://www.csdn.net/article/2015-05-14/2824680 摘要:为了方便企业选择合适的大数据测试基准,本文将在分析总结现有成果的基础,进一步讨论大数据测试基准应该具有的要素;并以此为...

yntmdr
2018/07/16
0
0
鲜为人知!工行性能测试之痛与APM选型

  【IT168 专稿】在银监会、证监会、保监会的监管条例下, "千万不要出问题!"成为金融行业对其IT部门最为核心最基本的诉求。一直以来银行IT部门给人印象是神秘的,因为银行IT部门的技术人员...

it168网站
2016/09/02
0
0
阿里云、Pivotal和信通院联手打造——“Greenplum 走进杭州“技术交流大会

经过十多年的打磨,Greenplum 已经成长为全球最知名的开源MPP数据库。2019年,Greenplum被Gartner评为全球排名第三的分析型数据库和排名第四的实时分析数据库(点击访问原文),且为前十名中...

Greenplum中文社区
07/29
48
0

没有更多内容

加载失败,请刷新页面

加载更多

maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
今天
8
0
Linux创建yum仓库

第一步、搞定自己的光盘 #创建文件夹 mkdir -p /media/cdrom #挂载光盘 mount /dev/cdrom /media/cdrom #编辑配置文件使其永久生效 vim /etc/fstab 第二步,编辑yun源 vim /ect yum.repos.d...

究极小怪兽zzz
今天
6
0
jar 更新部分文件

C:\Program Files (x86)\Java\jdk1.8.0_102\bin>jar -hIllegal option: hUsage: jar {ctxui}[vfmn0PMe] [jar-file] [manifest-file] [entry-point] [-C dir] files ...Options: -c c......

圣洁之子
今天
9
0
OSChina 周六乱弹 —— 感谢女装红薯开办了这个网站

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @胖达panda:分享歌词: 我有一只小毛驴我从来也不骑,有一天我心血来潮骑着去赶集,我手里拿着小皮鞭我心里正得意,不知怎么哗啦啦,我摔了一...

小小编辑
今天
2.6K
13
DDD(四)

1,引言 软件开发者大多趋向于将关注点放在数据上,而不是领域上。这对于刚入门的DDD的新手而言也是如此。以我目前的思考方式,数据库依然占据主要的地位。开发一个功能,首先我就会考虑我会...

MrYuZixian
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部