大数据测试 VS 传统数据库测试 & 测试环境需求

2017/03/14 17:25
阅读数 91

大数据测试 VS 传统数据库测试

类型

传统数据库测试

大数据测试

数据

结构化数据

结构化数据和非结构化数据

测试方法是明确定义和时间测试

测试方法需要集中的研发工作(R&D efforts)

测试人员可以选择“Sampling”策略进行手动或可以选择“Exhaustive Verification”策略进行自动化测试

"Sampling"策略在大数据测试有很大的挑战

基础设施

不需要特殊的测试环境,因为文件大小有限

需要特殊的测试环境,因为大数据量和文件(HDFS

验证工具

测试程序使用基于Excel的宏或基于UI的自动化工具

没有定义的工具,范围很广从编程工具如MapReduceHIVEQL

拥有基本的操作知识和较少的培训就可以使用测试工具

需要一套特定的技能和培训来操作测试工具。此外,工具处于新生阶段,随着时间的发展也许会带来新的功能。


测试环境需求

测试环境需求取决于要测试的应用程序的类型。对于大数据测试,测试环境应包括:

1.它应该有足够的空间用于存储和处理大量的数据

2.它应该具有分布式节点和数据的集群

3.它应该具有最低的CPU和内存利用率,以保持性能高



大数据场景使用的工具

大数据集群

大数据工具

NoSQL

CouchDB, MongoDB, Cassandra, Redis, ZooKeeper, Hbase

MapReduce

Hadoop, Hive, Pig, Cascading, Oozie, Kafka, S4, MapR, Flume

Storage

S3, HDFS ( Hadoop Distributed File System)

Servers

Elastic, Heroku, Elastic, Google App Engine, EC2

Processing

R, Yahoo! Pipes, Mechanical Turk, BigSheets, Datameer


展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部