架构测试&性能测试

2017/03/14 17:25
阅读数 68

架构测试

         Hadoop处理数据量非常大且资源密集的数据。因此,架构测试对于确保大数据项目的成功至关重要。不好活不当的系统设计可能导致性能下降,而且系统还可能无法满足要求。至少,性能和故障转移测试服务应在Hadoop环境中完成

         性能测试包括测试作业完成时间、内存利用率、数据吞吐量和类似的系统指标。虽然故障转移测试服务的动机是验证数据的无缝衔接,以防数据节点出现故障时,确保数据能正常处理。

性能测试

大数据的性能测试包括两个主要的操作:

Ø  数据摄取和吞吐量:在这个阶段,测试人员验证系统使用来自各种数据源的数据有多快?测试涉及队列在给定时间内处理不同标识的消息。它还包括如何快速地将数据插入到底层数据存储中,例如插入到Mongo和Cassandra数据库中的速率。

Ø  数据处理: 它涉及验证执行查询或Map Reduce作业的速度。它还包括当底层数据存储填充在数据集中时,测试使用隔离规则方式处理数据。例如,在底层HDFS上运行Map Reduce作业。

Ø  子组件性能:这些系统由多个组件组成,必须单独测试这些组件。例如,消息被索引和使用的速度、mapreduce作业、执行查询、搜索等。

性能测试方法

         大数据应用性能测试涉及大容量结构化数据测试和大容量非结构化数据测试,这些测试需要特定的测试方法来测试如此大的数据量。性能测试方法执行流程如下:

         

 性能测试执行步骤:

(1)      对性能测试的大数据集群进行设置

(2)      标识和设计相关的工作量

(3)      准备单个客服端(创建用户脚本)

(4)      执行测试并分析结果(如果目的没有达到,这是需要调整组件重新执行)

(5)      优化配置

性能测试参数化

要验证性能测试的各种参数:

数据存储(DataStorage):数据如何存储在不同的节点中

提交日志(Commitlog):允许提交日志增长的大小

并发性(Concurrency):有多少线程可以执行写和读操作

缓存(Caching):调整缓存设置"rowcache"和"key cache"。

超时(Timeouts):连接超时,查询超时等的值。

JVM参数(JVM Parameters):堆大小(heap size),GC收集算法等。

Map Reduce性能:排序(sort),合并(merage)等

消息队列(Messagequeue):消息速率(Message rate),大小等

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部