文档章节

打破软件自动化测试的格局

netkiller-
 netkiller-
发布于 2016/12/03 06:46
字数 2012
阅读 1185
收藏 45

打破软件自动化测试的格局

作者:netkiller (景峰), 微信公众号netkiller-ebook , 个人网站http://www.netkiller.cn

自动化测试的误区

自动化测试仅仅被认为是替代人工,所以我们看到很多企业实施自动化测试仅仅是将现有的 Test Case 转换成自动化脚本。

这样做既没有提高测试整体水平,也没有改善测试结果。结果是通过手工能测试出来的问题自动化测试可以测试出来,手工测试不出来的问题自动化测试也没有测试出来。

因为测试的观念仍停留在已有 Test Case 阶段,而 Test Case 停留在业务流程测试的阶段。

最终自动化测试仅仅是按照测试用例走一边业务流程,完成业务流程的检验。

分层与部署带来的问题

随着技术发展,软件的多样性,测试已经不局限于基于CS结构的GUI测试, 基于BS浏览器WEB UI测试。例如目前的安卓系统,苹果IOS系统,微软的 Windows Mobile 系统等等也加入到自动化测试领域。

应用软件也越来越复杂,例如:

  1. 分层的变化:界面层,接口曾,业务逻辑曾,实体模型层

  2. 部署的变化:从单机运行到双机热备份再到负载均衡,最近进化到分布式系统。

  3. 存储的变化:关系型数据库,非关系型数据库,缓存数据库,搜索引擎数据库

从下面的金字塔架构可以看出软件展示给用户的只有UI界面层

/\
           /  \
          / UI \
         /------\
        /   API  \
       /----------\
      /   Service  \     
     /--------------\
    /    Component   \
   /------------------\  
  /      Database      \
 /______________________\

上面是软件的分层,一个软件经过部署后结构将会更复杂。

/\
           /  \
          /CDN \
         /------\
        / WEB SER\
       /----------\
      / APP Server \     
     /--------------\
    / Message Queue  \
   /------------------\  
  / Cache|SearchEngine \
 /   Database| NoSQL    \ 
/________________________\

就WEB应用测试而言,涉及的内容就太广泛了,从浏览器->WEB服务器->APP服务器->缓存->数据库,中间会经过各种代理,负载均衡,分布式文件系统等等。

我们测试要涵盖:

  1. CDN测试,域名解析测试,

  2. WEB UI测试,包括HTML,Ajax

  3. API 服务器测试,api 是非人机交互界面,它是通过特定协议与API服务器交互通信。

  4. 代码单元测试

  5. 配置测试,配置管理过程中配置变更后的测试,含系统与应用

  6. 安全测试,接口安全,认证,权限

  7. 注入测试,JS注入,SQL 注入,Shell 注入

  8. 缓存测试,命中率测试,包括CDN,WEB服务器,缓存服务器,搜索引擎

  9. 压力测试,健壮性测试

  10. 扩展性测试,水平扩展测试,垂直扩展测试

  11. 高可用测试,集群测试

压力测试存在的问题

请参考我的另一篇文章《压力测试中存在的问题》

这里我要再单独强调压力测试,很多人的测试方法是有问题的。

压力测试不是准备一台机器安装压力测试软件就可以开始测试的。 压力测试的环境非常重要,很多工作多年的测试人员都没有意识到这个问题。

压力测试有两个重点,一是压力测试环境的建设,二是压力测试顺序。

压力测试环境

压力测试无论是单机还是网络,都需要一个好的压力测试环境,例如网络好比高速公路,如果公路成为瓶颈,你能测试出准确的数据吗?

首先准备测试环境,如单机测试要考虑CPU速度,磁盘IO速度,RAID卡的速度,RAID卡缓存大小,内存速度,PCI—E总线速度,甚至会涉及多对称CPU相关配置,内存与CPU通道的问题......等等

如果是测试分布式系统,除了上述单节点的注意事项,还要考虑到路由器/防火墙的包转发与连接数限制,交换机的背板带宽以及吞吐能力,负载均衡器的转发能力。

测试顺序

压力测试顺序的切入点非常重要,测试顺序上多数人是从UI(人机界面)切入,即由UI驱动业务逻辑,这种测试顺序是错误的,例如用户->浏览器->WEB服务器->APP服务器->缓存->数据库等等,这就带来很多问题。

\------------------/
 \    Web server  /
  \   App Server /
   \ Cache / MQ /
    \ Database /
     \ Disk IO/
      \      /

软件的性能平静通常是沙漏型的,最大的瓶颈莫过于数据库,其他服务器的瓶颈我们都能从架构的角度去解决性能问题。

所有我们应该先从数据库测试,首先确认数据库的配置优化是否能达到我们预期值。然后是缓存,消息队列,搜索引擎等等.....

至此我们已经知道数据库,缓存,消息队列,搜索引擎不会成为我们压力测试中的瓶颈。接下就可以测试应用服务器和应用软件了。

如果你的测试格局能够放大一点要考虑的远不止上述那些。 你还需考虑硬件,网络,操作内核参数优化,TCP/IP栈优化,验证运维配置是否能满足我们需求等等.....。

瓶颈分析

我们需要有一套监控解决方案,能够监控到硬件的性能,软件的性能。

测试目的不是为了得出一个结果,告诉开发人员你的软件能支撑XXX并发,而是在我们测试中监控每项操作,计算出每个功能所用的时间,分析出性能的平静,指导开发人员改进软件。

监控分为外部监控与内部监控。

外部监控是最容易实现的,有成熟的工具以及解决方案,CPU,内存,磁盘IO,网络流量等等。

内部监控是指软件运行加载到内存中之后的变化状态,例如内存地址,变量,函数调用,动态链接库载入,打开文件句柄,Socket地址和数据包等等。

指导开发

通过数据,图表,快速定位软件存在的问题点,指导开发完成软件的改进

持续集成形同虚设

持续集成,自动化构建几乎么个测试团队都会实施,但实际境况并不理想,仅仅停留在工具配置的阶段。几乎没有人在生产环境上使用自动化构建。

为什么持续集成无法应用到生产环境?

(待续,敬请关注作者微信公众号,现在已经是早上6点中了,要去睡觉了)

测试的终极目标

我认为测试不仅仅是完成按照测试用例完成软件验收,如果仅仅测试用户可见的UI(人机接口)是不能满足现代软件的测试需求的。

测试者应该站在更高的角度看问题,测试者是有能力指导开发人员,改善软件的性能,健壮性,安全性,以及影响软件架构的设计。 测试者需要有广泛的跨界知识支撑,要不断学习提高,打破现有格局。

2016-12-03 06:30 AM

© 著作权归作者所有

netkiller-

netkiller-

粉丝 705
博文 274
码字总数 383156
作品 10
深圳
部门经理
私信 提问
加载中

评论(5)

zhangyachu
zhangyachu
等于没说
m
msay
吓了一跳。。。结果
GangWang
GangWang
吓了一跳。。。结果
GangWang
GangWang
吓了一跳。。。结果
测试dog
测试dog
吓了一跳。。。结果😓
一步步实施 DevOps (二)

Netkiller Management 手札 Mr. Neo Chan, 陈景峯(BG7NYT) 中国广东省深圳市望海路半岛城邦三期 518067 +86 13113668890 Copyright © 2010-2018 netkiller 版权声明 转载请与作者联系,转载...

netkiller-
2018/12/27
239
0
如何利用DevOps为金融领域注入崭新动力

  近年来在互联网技术与金融服务融合的过程中,互联网金融企业依托信息技术和客户流量等优势,开始全面布局支付、借贷、财富管理、交易结算等领域,这无疑对传统银行业务带来了巨大冲击。而...

it168网站
2018/05/16
0
0
CALMS及其与数据库DevOps的关系

CALMS是框架的首字母缩写,它允许企业评估他们在DevOps之旅中的准备程度,以及他们可以改进的地方。CAMS(没有L)是由Damon Edwards和John Willis在2010年首次美国DevOps Days之后首次推出的...

萤火的萤
2018/11/01
0
0
做了两年了还是功能测试如何打破瓶颈?

前言 大家都说软件测试入门容易,似乎软件测试成了跳进互联网生态圈的最佳途径。但是不少小伙伴在入门软件测试后,却变的相当的迷茫,不知道自己应该做什么,似乎点点点就成了工作中唯一的事...

TeacherAilie
2018/09/11
0
0
魅族技术开放日第五期:构建适合你的自动化测试体系

《魅族技术开放日第五期:构建适合你的自动化测试体系》 邀请函 在移动互联网越来越快的迭代项目中,很多测试人员和测试团队都开始觉得力不从心。很多团队和公司都开始讨论怎么保证质量,事实...

msup
2016/09/07
138
0

没有更多内容

加载失败,请刷新页面

加载更多

centos7 linuxdeployqt qt5.13.1 打包程序

原文链接:https://www.cnblogs.com/linuxAndMcu/p/11016322.html 一、简介 linuxdeployqt 是Linux下的qt打包工具,可以将应用程序使用的资源(如库,图形和插件)复制到二进制运行文件所在的...

shzwork
9分钟前
1
0
IDEA 配置Springboot项目热部署

实现的方式概述 注意以下的热部署方式在IDEA是默认没有打开自动编译的,手动编译需要快捷键(Ctrl+Shift+F9),自动编译的修改配置如下:(注意刷新不要太快,会有1-2秒延迟) File-Settings-C...

小强的进阶之路
20分钟前
4
0
免费数据分析工具:secsoso

前段时间思考了理想数据分析平台,之后我们根据这个思路开发了spl语言并提供了一个数据分析平台,这个平台主要用在搜索ES,数据库索引中的数据。但后来发现对文件的事后处理也是个非常重要的...

赛克蓝德
22分钟前
2
0
暗黑2不能正常启动?带你轻松使用WIN10运行游戏

暗黑破坏神2这款游戏由于年代比较久远,所以设置启动这方面与现在的大部分游戏有很大差距,由于当初完美运行暗黑2是当年使用最多的XP系统,在使用现在大多数玩家使用的WIN7到WIN10系统常会出...

太空堡垒185
26分钟前
3
0
maven项目对象模型(二)

1.4.4.传递性依赖 一个传递性依赖就是一个依赖的依赖。如果project-a依赖于project-b,而后者接着依赖于project-c,那么project-c就是被认为是project-a的传递性依赖。如果project-c依赖于p...

万建宁
26分钟前
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部