文档章节

架构测试&性能测试

henni_719
 henni_719
发布于 2017/03/14 17:25
字数 707
阅读 12
收藏 0

架构测试

         Hadoop处理数据量非常大且资源密集的数据。因此,架构测试对于确保大数据项目的成功至关重要。不好活不当的系统设计可能导致性能下降,而且系统还可能无法满足要求。至少,性能和故障转移测试服务应在Hadoop环境中完成

         性能测试包括测试作业完成时间、内存利用率、数据吞吐量和类似的系统指标。虽然故障转移测试服务的动机是验证数据的无缝衔接,以防数据节点出现故障时,确保数据能正常处理。

性能测试

大数据的性能测试包括两个主要的操作:

Ø  数据摄取和吞吐量:在这个阶段,测试人员验证系统使用来自各种数据源的数据有多快?测试涉及队列在给定时间内处理不同标识的消息。它还包括如何快速地将数据插入到底层数据存储中,例如插入到Mongo和Cassandra数据库中的速率。

Ø  数据处理: 它涉及验证执行查询或Map Reduce作业的速度。它还包括当底层数据存储填充在数据集中时,测试使用隔离规则方式处理数据。例如,在底层HDFS上运行Map Reduce作业。

Ø  子组件性能:这些系统由多个组件组成,必须单独测试这些组件。例如,消息被索引和使用的速度、mapreduce作业、执行查询、搜索等。

性能测试方法

         大数据应用性能测试涉及大容量结构化数据测试和大容量非结构化数据测试,这些测试需要特定的测试方法来测试如此大的数据量。性能测试方法执行流程如下:

         

 性能测试执行步骤:

(1)      对性能测试的大数据集群进行设置

(2)      标识和设计相关的工作量

(3)      准备单个客服端(创建用户脚本)

(4)      执行测试并分析结果(如果目的没有达到,这是需要调整组件重新执行)

(5)      优化配置

性能测试参数化

要验证性能测试的各种参数:

数据存储(DataStorage):数据如何存储在不同的节点中

提交日志(Commitlog):允许提交日志增长的大小

并发性(Concurrency):有多少线程可以执行写和读操作

缓存(Caching):调整缓存设置"rowcache"和"key cache"。

超时(Timeouts):连接超时,查询超时等的值。

JVM参数(JVM Parameters):堆大小(heap size),GC收集算法等。

Map Reduce性能:排序(sort),合并(merage)等

消息队列(Messagequeue):消息速率(Message rate),大小等

本文转载自:http://blog.csdn.net/henni_719/article/details/54911165

henni_719
粉丝 2
博文 466
码字总数 343938
作品 0
信阳
QA/测试工程师
私信 提问
要做好性能测试,该掌握些什么?

今天有同行在blog上留言,问“想从功能测试转向性能测试,但不知道需要哪些了解哪些知识,及怎样进行一个系统的学习”。这类问题之前也被问到很多次了,所以这次干脆整理一下,发个主题供同行...

不最醉不龟归
2016/09/29
39
0
DevOps架构下如何进行微服务性能测试?

一. 微服务架构下的性能测试挑战 微服务与DevOps 微服务是实现DevOps的重要架构 微服务3S原则 DevOps核心点 微服务架构下的业务特点 亿级用户的平台 单服务业务随时扩容 服务之间存在相互调用...

CPTS-test
01/04
0
0
日均百万PV架构第二弹(缓存时代来临)

上一弹中我们规划并搭建了基本的架构组成,当然此架构存在诸多问题,我们在接下来的章节中将不断 完善其功能特性,使之成为实至名归的百万PV架构站点 首先来对上一弹架构做基本的ab 并发100, 总...

My_King1
2014/05/09
0
0
月薪20k以上的测试程序员需要学习哪些技术呢?

课程内容: Linux学习、监控、Web架构、Mysql数据库、抓包工具Fiddler、发包工具Jmeter、自动化测试框架、项目综合实战、性能测试、安全测试、职业规划指导。 适用对象: 1-5年或更长软件测试...

Java高级架构
2017/12/27
0
0
北京知名纳斯达克上市、行业领先IT公司招聘资深性能测试开发主管

招聘职位:资深性能测试开发主管 l 职位要求: 1. 全球知名软件/互联网公司工作经历。 2. 长期从事性能测试开发/设计/架构相关工作。 3. 有长期C/C++开发的C/S产品的性能测试框架设计、工具开...

yangjf
2012/03/04
358
1

没有更多内容

加载失败,请刷新页面

加载更多

mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
今天
8
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
今天
6
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
今天
8
0
Flutter 系列之Dart语言概述

Dart语言与其他语言究竟有什么不同呢?在已有的编程语言经验的基础上,我们该如何快速上手呢?本篇文章从编程语言中最重要的组成部分,也就是基础语法与类型变量出发,一起来学习Dart吧 一、...

過愙
今天
5
0
rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部