文档章节

参数测试中交叉遍历的实现

李艳青1987
 李艳青1987
发布于 2016/11/17 21:50
字数 912
阅读 20
收藏 1

软件测试中常常需要测试函数/脚本/接口的参数取值情况,在参数数目不多,参数取值数目也不多的情况下,可以采取参数间取值交叉遍历的穷举测试。

以下面的参数配置为例。

param1.cfg

param1 0 1
param2 0 1 2
param3 0 1 2 3

 

穷举所有情况,可得2x3x4=24种,下面为python实现。

paramTest1.py

#!/usr/local/bin/python3.5 -u

import os
import sys

def getParam(paramCfgFile):
    dict = {}
    
    for line in os.popen('cat ' + str(paramCfgFile.strip())).readlines():
        args = line.strip().split()
        parameter = args[0]
        dict[parameter] = []
        values = args[1:]
        for value in values:
            dict[parameter].append(value)

    return(dict)

def func(dict):
    paramList = []

    for i in range(len(dict.keys())):
        key = list(dict.keys())[i]
        values = dict[key]
        paramListTemp = paramList[:]
        paramList = []
        for j in range(len(values)):
            value = values[j]
            paramString = str(key) + " " + str(value)
            tempList = [paramString]
            if i == 0:
                paramList.append(tempList)
            else:
                for origList in paramListTemp:
                    tempListTemp = tempList[:]
                    tempListTemp.extend(origList)
                    paramList.append(tempListTemp)
                
    return(paramList)

def printParamList(paramList):
    for i in range(len(paramList)):
        print(">>> Case " + str(i))
        for param in paramList[i]:
            print(param)
        print("")

def main():
    paramCfgFile = sys.argv[1]
    dict = getParam(paramCfgFile)
    paramList = func(dict)
    printParamList(paramList)

###################
## Main Function ##
###################
if __name__ == "__main__":
    main()

 

测试情况如下。

[liyanqing@bogon python]$ ./paramTest1.py param1.cfg
>>> Case 0
param1 0
param3 0
param2 0

... ...

Case 23
param1 1
param3 3
param2 2

 

当参数数目(以及取值数目)较多时,穷举测试中组合情况的个数急剧增加,以至于很快就会达到基本上无法测试的境地,以下面10个参数的配置表为例。

param2.cfg

param1 0 1
param2 0 1 2
param3 0 1 2 3
param4 0 1
param5 0 1 2
param6 0 1 2 3
param7 0 1
param8 0 1 2
param9 0 1 2 3
param10 0 1

 

测试情况如下:

[liyanqing@bogon python]$ ./paramTest1.py param2.cfg

... ...

>>> Case 27647
param6 3
param8 2
param5 2
param1 1
param10 1
param3 3
param4 1
param7 1
param2 2
param9 3

 

穷举测试中情况数目达到了惊人的27648种!这几乎是无法完成的测试。在这种情况下我们只能放弃完全的穷举测试,而采取更加灵活的方式。

在我们日常的测试工作中常采用下面的策略,既保证每个参数每个取值至少能取到一次,并且某个参数取值固定时,其它参数的取值随机选取,这样能够急剧缩小总体的测试用例数目到“num(param1_values) + num(param2_values) + ... + num(paramn_values)”。新测试脚本只需要更改“func”函数即可实现。

paramTest2.py

#!/usr/local/bin/python3.5 -u

import os
import sys
import random

def getParam(paramCfgFile):
    dict = {}
    
    for line in os.popen('cat ' + str(paramCfgFile.strip())).readlines():
        args = line.strip().split()
        parameter = args[0]
        dict[parameter] = []
        values = args[1:]
        for value in values:
            dict[parameter].append(value)

    return(dict)

def func(dict):
    paramList = []

    for i in range(len(dict.keys())):
        key = list(dict.keys())[i]
        values = dict[key]
        for j in range(len(values)):
            value = values[j]
            paramListTemp = []
            paramString = str(key) + " " + str(value)
            paramListTemp.append(paramString)
            for k in range(len(dict.keys())):
                if k != i:
                    otherKey = list(dict.keys())[k]
                    otherValues = dict[otherKey]
                    t = random.randint(0, len(otherValues)-1)
                    otherValue = otherValues[t]
                    paramString = str(otherKey) + " " + str(otherValue)
                    paramListTemp.append(paramString)

            paramList.append(paramListTemp)

    return(paramList)

def printParamList(paramList):
    for i in range(len(paramList)):
        print(">>> Case " + str(i))
        for param in paramList[i]:
            print(param)
        print("")

def main():
    paramCfgFile = sys.argv[1]
    dict = getParam(paramCfgFile)
    paramList = func(dict)
    printParamList(paramList)

###################
## Main Function ##
###################
if __name__ == "__main__":
    main()

 

同样拿10参数的配置文件测试。

[liyanqing@bogon python]$ ./paramTest2.py param2.cfg
>>> Case 0
param3 0
param2 2
param5 1
param7 1
param4 1
param10 0
param9 2
param1 1
param8 2
param6 2
... ...

>>> Case 28
param6 3
param3 1
param2 2
param5 0
param7 0
param4 1
param10 0
param9 0
param1 1
param8 0

 

测试用例数目缩减到29个,完全在可测范围内。

在实际的操作中,当参数数目(及参数取值数目)比较多时,我们一般执行优化脚本2~3次,以保证在参数随机取值的情况下覆盖尽量多的情况。一般这样测试没有出现crash等严重情况,可以估计认为其它测试出现crash的可能性也不大。

 

© 著作权归作者所有

共有 人打赏支持
李艳青1987
粉丝 8
博文 13
码字总数 16404
作品 0
通州
高级程序员
推荐系统遇上深度学习(五)--Deep&Cross Network模型理论和实践

推荐系统遇上深度学习系列: 推荐系统遇上深度学习(一)--FM模型理论和实践:https://www.jianshu.com/p/152ae633fb00 推荐系统遇上深度学习(二)--FFM模型理论和实践:https://www.jianshu.co...

石晓文
04/22
0
0
数据集的分割与sklearn实现

今天聊一下数据集分割的问题,在使用机器学习算法的时候,我们需要对原始数据集进行分割,分为训练集、验证集、测试集。训练集用于建立模型,验证集用于模型参数的选择,测试集用于评估选定模...

调参的命
2017/10/30
0
0
【CS231n_2017】2-Image Classification

图像分类   图像分类是计算机视觉的核心问题之一,可以理解为从一组固定的类别中为输入图像贴上对应标签,说明该图像属于哪一类。虽然图像分类问题比较简单,但它有着很多的实际应用,像目...

u013165921
2017/12/07
0
0
机器学习面试基础知识 & 扩展-01

视频教程的总结和一些自行补充的内容,旨在尽可能的理解其原理。 本文持续更新地址:http://hellogod.cn: 个人博客机器学习面试基础知识 & 扩展-01 训练/开发/测试集 Tips 训练/开发/测试集...

曹真
2017/10/18
0
0
交叉验证与训练集、验证集、测试集

参考:李航–《统计学习方法》 https://www.jianshu.com/p/7e032a8aaad5 https://zhuanlan.zhihu.com/p/20900216?refer=intelligentunit 训练集、验证集、测试集 如果给定的样本数据充足,我...

chaolei3
02/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Cointext在阿根廷和土耳其推出比特币现金短信钱包

Cointext于10月15日开始在土耳其和阿根廷提供新的基于SMS的比特币现金钱包服务,这两个国家的加密货币使用量急剧上升,以应对严峻的经济形势。 移动钱包 通过短信处理BCH交易 “比特币是更好...

lpy411
24分钟前
1
0
大数据早课-0918

9.18日早课 1.全局搜索含有abc的文件名称或文件夹的命令 2.当前目录一般用什么表示 3.切换到上一次和上一层命令分别是什么 4.pwd是查看当前目录的什么 5.隐藏文件或文件夹的标识是什么? 怎样...

hnairdb
24分钟前
1
0
mybatis学习笔记一

一、mybaits需要的项目依赖 <!-- https://mvnrepository.com/artifact/org.mybatis/mybatis --> <dependency> <groupId>org.mybatis</groupId> <artif......

wuyiyi
25分钟前
2
0
CentOS6 安装 GraphicsMagick

1.安装相关依赖: yum install -y gcc libpng libjpeg libpng-devel libjpeg-devel ghostscript libtiff libtiff-devel freetype freetype-devel 2.下载并解压到目录/usr/local/ wget ft......

凯文加内特
27分钟前
1
0
RabbitMq集群使用Nginx做负载均衡

1.配置rabbitmq集群(可以参考前一篇RabbitMq之部署集群) 2.Nginx做负载均衡 注意:Nginx1.90版本后 新增了stream 模块用于一般的 TCP 代理和负载均衡,之前版本不支持 修改Nginx配置文件ngi...

zhaochaochao
32分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部