文档章节

参数测试中交叉遍历的实现

李艳青1987
 李艳青1987
发布于 2016/11/17 21:50
字数 912
阅读 22
收藏 1

软件测试中常常需要测试函数/脚本/接口的参数取值情况,在参数数目不多,参数取值数目也不多的情况下,可以采取参数间取值交叉遍历的穷举测试。

以下面的参数配置为例。

param1.cfg

param1 0 1
param2 0 1 2
param3 0 1 2 3

 

穷举所有情况,可得2x3x4=24种,下面为python实现。

paramTest1.py

#!/usr/local/bin/python3.5 -u

import os
import sys

def getParam(paramCfgFile):
    dict = {}
    
    for line in os.popen('cat ' + str(paramCfgFile.strip())).readlines():
        args = line.strip().split()
        parameter = args[0]
        dict[parameter] = []
        values = args[1:]
        for value in values:
            dict[parameter].append(value)

    return(dict)

def func(dict):
    paramList = []

    for i in range(len(dict.keys())):
        key = list(dict.keys())[i]
        values = dict[key]
        paramListTemp = paramList[:]
        paramList = []
        for j in range(len(values)):
            value = values[j]
            paramString = str(key) + " " + str(value)
            tempList = [paramString]
            if i == 0:
                paramList.append(tempList)
            else:
                for origList in paramListTemp:
                    tempListTemp = tempList[:]
                    tempListTemp.extend(origList)
                    paramList.append(tempListTemp)
                
    return(paramList)

def printParamList(paramList):
    for i in range(len(paramList)):
        print(">>> Case " + str(i))
        for param in paramList[i]:
            print(param)
        print("")

def main():
    paramCfgFile = sys.argv[1]
    dict = getParam(paramCfgFile)
    paramList = func(dict)
    printParamList(paramList)

###################
## Main Function ##
###################
if __name__ == "__main__":
    main()

 

测试情况如下。

[liyanqing@bogon python]$ ./paramTest1.py param1.cfg
>>> Case 0
param1 0
param3 0
param2 0

... ...

Case 23
param1 1
param3 3
param2 2

 

当参数数目(以及取值数目)较多时,穷举测试中组合情况的个数急剧增加,以至于很快就会达到基本上无法测试的境地,以下面10个参数的配置表为例。

param2.cfg

param1 0 1
param2 0 1 2
param3 0 1 2 3
param4 0 1
param5 0 1 2
param6 0 1 2 3
param7 0 1
param8 0 1 2
param9 0 1 2 3
param10 0 1

 

测试情况如下:

[liyanqing@bogon python]$ ./paramTest1.py param2.cfg

... ...

>>> Case 27647
param6 3
param8 2
param5 2
param1 1
param10 1
param3 3
param4 1
param7 1
param2 2
param9 3

 

穷举测试中情况数目达到了惊人的27648种!这几乎是无法完成的测试。在这种情况下我们只能放弃完全的穷举测试,而采取更加灵活的方式。

在我们日常的测试工作中常采用下面的策略,既保证每个参数每个取值至少能取到一次,并且某个参数取值固定时,其它参数的取值随机选取,这样能够急剧缩小总体的测试用例数目到“num(param1_values) + num(param2_values) + ... + num(paramn_values)”。新测试脚本只需要更改“func”函数即可实现。

paramTest2.py

#!/usr/local/bin/python3.5 -u

import os
import sys
import random

def getParam(paramCfgFile):
    dict = {}
    
    for line in os.popen('cat ' + str(paramCfgFile.strip())).readlines():
        args = line.strip().split()
        parameter = args[0]
        dict[parameter] = []
        values = args[1:]
        for value in values:
            dict[parameter].append(value)

    return(dict)

def func(dict):
    paramList = []

    for i in range(len(dict.keys())):
        key = list(dict.keys())[i]
        values = dict[key]
        for j in range(len(values)):
            value = values[j]
            paramListTemp = []
            paramString = str(key) + " " + str(value)
            paramListTemp.append(paramString)
            for k in range(len(dict.keys())):
                if k != i:
                    otherKey = list(dict.keys())[k]
                    otherValues = dict[otherKey]
                    t = random.randint(0, len(otherValues)-1)
                    otherValue = otherValues[t]
                    paramString = str(otherKey) + " " + str(otherValue)
                    paramListTemp.append(paramString)

            paramList.append(paramListTemp)

    return(paramList)

def printParamList(paramList):
    for i in range(len(paramList)):
        print(">>> Case " + str(i))
        for param in paramList[i]:
            print(param)
        print("")

def main():
    paramCfgFile = sys.argv[1]
    dict = getParam(paramCfgFile)
    paramList = func(dict)
    printParamList(paramList)

###################
## Main Function ##
###################
if __name__ == "__main__":
    main()

 

同样拿10参数的配置文件测试。

[liyanqing@bogon python]$ ./paramTest2.py param2.cfg
>>> Case 0
param3 0
param2 2
param5 1
param7 1
param4 1
param10 0
param9 2
param1 1
param8 2
param6 2
... ...

>>> Case 28
param6 3
param3 1
param2 2
param5 0
param7 0
param4 1
param10 0
param9 0
param1 1
param8 0

 

测试用例数目缩减到29个,完全在可测范围内。

在实际的操作中,当参数数目(及参数取值数目)比较多时,我们一般执行优化脚本2~3次,以保证在参数随机取值的情况下覆盖尽量多的情况。一般这样测试没有出现crash等严重情况,可以估计认为其它测试出现crash的可能性也不大。

 

© 著作权归作者所有

李艳青1987
粉丝 14
博文 22
码字总数 34833
作品 0
通州
高级程序员
私信 提问
机器学习之Grid Search网格搜索(自动调参)

什么是Grid Search 网格搜索? Grid Search:一种调参手段;穷举搜索:在所有候选的参数选择中,通过循环遍历,尝试每一种可能性,表现最好的参数就是最终的结果。其原理就像是在数组里找最大...

刺客五六柒
01/10
0
0
推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践

推荐系统遇上深度学习系列: 推荐系统遇上深度学习(一)--FM模型理论和实践:https://www.jianshu.com/p/152ae633fb00 推荐系统遇上深度学习(二)--FFM模型理论和实践:https://www.jianshu.co...

石晓文
2018/04/22
0
0
【CS231n_2017】2-Image Classification

图像分类   图像分类是计算机视觉的核心问题之一,可以理解为从一组固定的类别中为输入图像贴上对应标签,说明该图像属于哪一类。虽然图像分类问题比较简单,但它有着很多的实际应用,像目...

u013165921
2017/12/07
0
0
Redis 2.8.9源码 - Redis中的双端链表实现 adlist

本文为作者原创,转载请注明出处:http://my.oschina.net/fuckphp/blog/269801 adlist作为Redis中的双端链表,在Redis中被广泛的应用到了很多地方,比如 slowlog的存储,主从复制中报错客户端...

logbird
2014/05/27
0
0
随机森林的原理分析及Python代码实现

在讲随机森林前,我先讲一下什么是集成学习。集成学习通过构建并结合多个分类器来完成学习任务。集成学习通过将多个学习器进行结合,常可获得比单一学习器更好的泛化性能。 考虑一个简单例子...

Flying_sfeng
2017/03/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Android双向绑定原理简述

Android双向绑定原理简述 双向绑定涉及两个部分,即将业务状态的变化传递给UI,以及将用户输入信息传递给业务模型。 首先我们来看业务状态是如何传递给UI的。开启dataBinding后,编译器为布局...

tommwq
今天
2
0
Spring系列教程八: Spring实现事务的两种方式

一、 Spring事务概念: 事务是一系列的动作,它们综合在一起才是一个完整的工作单元,这些动作必须全部完成,如果有一个失败的话,那么事务就会回滚到最开始的状态,仿佛什么都没发生过一样。...

我叫小糖主
今天
6
0
CentOS 的基本使用

1. 使用 sudo 命令, 可以以 root 身份执行命令, 必须要在 /etc/sudoers 中定义普通用户 2. 设置 阿里云 yum 镜像, 参考 https://opsx.alibaba.com/mirror # 备份mv /etc/yum.repos.d/CentO...

北漂的我
昨天
3
0
Proxmox VE技巧 移除PVE “没有有效订阅” 的弹窗提示

登陆的时候提示没有有效的订阅You do not have a valid subscription for this server. Please visit www.proxmox.com to get a list of available options. 用的是免费版的,所以每次都提示......

以谁为师
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部