文档章节

Web Service性能测试工具比较

超爱fitnesse
 超爱fitnesse
发布于 2015/07/26 08:21
字数 1691
阅读 1599
收藏 83

背景

希望选择一款Web Service性能测试工具,能真实模拟大量用户访问网站时的请求,从而获取服务器当前的请求处理能力(请求数/秒)。 以微信服务器为例,每个用户用独立的登录token,做各种操作,比如刷消息、发消息、看朋友圈等。

希望该性能测试工具符合如下要求:

  1. 测试脚本能力,最好是Python/Ruby等最常用的
  2. 每个并发实例能使用不同参数
  3. CLI启动测试,这对自动化测试很重要
  4. Session支持,也就是第一个请求的响应,能用于后续请求的参数。
  5. 单个结点的并发数量高。
  6. 分布式支持,不受限于单个结点的计算能力。

性能测试工具选手:

Gatling

http://gatling.io/

Gatling是一款基于Scala 开发的高性能服务器性能测试工具,它主要用于对服务器进行负载等测试,并分析和测量服务器的各种性能指标。Gatling主要用于测量基于HTTP的服务器,比如Web应用程序,RESTful服务等,除此之外它拥有以下特点:

  • 支持Akka Actors 和 Async IO,从而能达到很高的性能
  • 支持实时生成Html动态轻量报表,从而使报表更易阅读和进行数据分析
  • 支持DSL脚本,从而使测试脚本更易开发与维护
  • 支持录制并生成测试脚本,从而可以方便的生成测试脚本
  • 支持导入HAR(Http Archive)并生成测试脚本
  • 支持Maven,Eclipse,IntelliJ等,以便于开发
  • 支持Jenkins,以便于进行持续集成
  • 支持插件,从而可以扩展其功能,比如可以扩展对其他协议的支持
  • 开源免费

测试场景示例: http://gatling.io/docs/2.1.7/advanced_tutorial.html

object Search {

  val feeder = csv("search.csv").random // 1, 2

  val search = exec(http("Home")
    .get("/"))
    .pause(1)
    .feed(feeder) // 3
    .exec(http("Search")
    .get("/computers?f=${searchCriterion}") // 4
    .check(css("a:contains('${searchComputerName}')", "href").saveAs("computerURL"))) // 5
    .pause(1)
    .exec(http("Select")
    .get("${computerURL}")) // 6
    .pause(1)
}

统计图: 输入图片说明

nGrinder

官网很卡,真的很卡...zzz...

http://naver.github.io/ngrinder/
nGrinder是一个基于 Grinder 开发的一个非常易于管理和使用的性能测试系统。
它是由一个controller和连接它的多个agent组成,用户可以通过web界面管理和控制测试,以及查看测试报告,controller会把测试分发到一个或多个agent去执行。用户可以设置使用多个进程和线程来并发的执行该脚本,而且在同一线程中,来重复不断的执行测试脚本,来模拟很多并发用户。
nGrinder的测试是基于一个python的测试脚本,用户按照一定规则编写测试脚本以后,controller会将脚本以及需要的其他文件分发到agent,用Jython执行。并在执行过程中收集运行情况、响应时间、测试目标服务器的运行情况等。并保存这些数据生成运行报告,以供以后查看。
nGrinder的一大特点就是非常容易使用,安装也非常容易,可以做到开箱即用,测试用户也可以很容易就开始测试任务。当然,如果想执行一些比较复杂场景的性能测试,就需要测试人员对python有一定认识。

测试场景示例: http://grinder.sourceforge.net/faq.html#simulating-users

#
# testRandomise.py
#
import random
import string
 
class TestRandomise:
  def __init__(self, filename):
    self._users = []
    infile = open(filename, "r")
 
    for line in infile.readlines():
      self._users.append(string.split((line),','))
    infile.close()
 
  def getUserInfo(self):
    "Pick a random (user, password) from the list."
    return random.choice(self._users)
 
 
#
# Test script. Originally recorded by the TCPProxy.
#
from testRandomise import TestRandomise
tre = TestRandomise("users.txt")
 
class TestRunner:
    def __call__(self):
        # Get user for this run.
        (user, passwd) = tre.getUserInfo()
 
  # ...
 
  # Use the user details to log in.
 
        tests[2002].POST('https://host:443/securityservlet',
          ( NVPair('functionname', 'Login'),
            NVPair('pagename', 'Login'),
            NVPair('ms_emailAddress', user),
            NVPair('ms_password', passwd), ))

统计图: 输入图片说明

Locust

http://locust.io/

Locust 是一个开源负载测试工具。使用 Python 代码定义用户行为,也可以仿真百万个用户。
Locust 是非常简单易用,分布式,用户负载测试工具。Locust 主要为网站或者其他系统进行负载测试,能测试出一个系统可以并发处理多少用户。
Locust 是完全基于时间的,因此单个机器支持几千个并发用户。相比其他许多事件驱动的应用,Locust 不使用回调,而是使用轻量级的处理方式 gevent。

测试场景示例: http://docs.locust.io/en/latest/quickstart.html#example-locustfile-py

from locust import HttpLocust, TaskSet

def login(l):
    l.client.post("/login", {"username":"ellen_key", "password":"education"})

def index(l):
    l.client.get("/")

def profile(l):
    l.client.get("/profile")

class UserBehavior(TaskSet):
    tasks = {index:2, profile:1}

    def on_start(self):
        login(self)

class WebsiteUser(HttpLocust):
    task_set = UserBehavior
    min_wait=5000
    max_wait=9000

统计图: 输入图片说明

其他未参与比较的工具

因为没有脚本能力或CLI,所以未加入比较

  • JMeter
  • ApacheBench(ab)
  • Tsung

Locust作者对JMeter和Tsung发的牢骚:

http://my.oschina.net/u/1433482/blog/464092#OSC_h4_3

我们研究了现有的解决方案,都不符合要求。比如Apache JMeter和Tsung。

JMeter基于UI操作,容易上手,但基本上不具备编程能力。其次JMeter基于线程,要模拟数千用户几乎不可能。

Tsung基于Erlang,能模拟上千用户并易于扩展,但它基于XML的DSL,描述场景能力弱,且需要大量的数据处理才知道测试结果。

比较

比较科目x工具矩阵

| 比较科目 | Gatling | nGrinder | Locust | | -------- | ----- | ---- | | 并发机制 | Akka Actor | Java线程 | Python gevent| | 单结点并发数量 | 待实验 | 待实验(官网数字:3000) | 待实验 | | 分布式支持 | N | agent-controller | master-slave | | 录制脚本 | Http Proxy | TCProxy | N | | 测试脚本DSL | scala dsl | Jython/Groovy | Python | | Session支持 | Y | Y | Y | | CLI启动测试 | gatling.sh | Y | N (需要在浏览器中点击启动测试) | | 性能测试结果统计 | Y | Y | Y | | 监控被测试服务器 | N | Y | N | | 每个实例不同参数 | ★★★★★ 参数文件 | ★★★☆☆ 资源文件和线程Id | ★★☆☆☆ 变通办法:每个并发实例依次从参数文件中读取 |

结论

很明显,首选的全能选手就是Gatling,Akka Actor的并发模型就是来自于并发语言的鼻祖Erlang。
如果想自己扩展性能测试工具,那么Locust这个小而精的工具可以考虑。
nGrinder工具是韩国版微信Line开源的,并且专门开设了中文论坛,由韩国工程师回答中国开发者。但有两个问题,一是官网太卡,其二示例都是片段不完整。

各位同学参照上面的对比,自己各取所需吧。

© 著作权归作者所有

共有 人打赏支持
超爱fitnesse
粉丝 28
博文 33
码字总数 44160
作品 0
浦东
QA/测试工程师
私信 提问
加载中

评论(5)

超爱fitnesse
超爱fitnesse

引用来自“jeffsui”的评论

我想问下楼主对于性能测试来说比较关注一些核心指标,例如 TPS,average transaction response time 等等Gatling是否支持这些指标的获取。
tps和平均响应时间是性能测试工具的最基本能力,其中ab只提供了平均值,gatling提供了时间曲线图。
超爱fitnesse
超爱fitnesse

引用来自“南湖船老大”的评论

JMeter应该支持脚本的吧

引用来自“jeffsui”的评论

JMeter支持二次开发,并且有第三方的插件支持。根据官方站点的wiki说明,单个支持1000个线程。
我也很感兴趣,你不妨写个博客介绍一下JMeter通过二次开发来提供脚本能力。
jeffsui
jeffsui
我想问下楼主对于性能测试来说比较关注一些核心指标,例如 TPS,average transaction response time 等等Gatling是否支持这些指标的获取。
jeffsui
jeffsui

引用来自“南湖船老大”的评论

JMeter应该支持脚本的吧
JMeter支持二次开发,并且有第三方的插件支持。根据官方站点的wiki说明,单个支持1000个线程。
南湖船老大
南湖船老大
JMeter应该支持脚本的吧
Web Service性能测试,soapUI 和Jmeter的问题

最近在搞Web Service性能测试,soapUI 和Jmeter都试了 ,发现都有问题, SOAPUI,导入了WSDL的地址,却发现没有地方先要发送的XML ,请教大神这个是在哪填的。 jmeter 貌似2.11版本之后不支持...

最帅程序猿
2014/08/14
2.1K
4
Web Service性能测试,soapUI还是Jmeter?

经常有人问我web service的性能测试是用JMeter好还是SoapUI好。说句实话这两款都是非常优秀的开源Web Service性能测试工具,简单地说哪个更好真不太容易。影响Web Service性能测试的因素太多...

红薯
2009/02/03
3.4K
1
WebService性能测试

什么是WebService?(本文也会在最下面通俗的介绍) 这里给一个站内大哥的讲解:http://www.cnblogs.com/Leo_wl/archive/2010/05/20/1740205.html 什么是soapUI? 简单点就是测试WebService的...

长平狐
2013/03/12
179
0
前端每周清单半年盘点之 PWA 篇

前端每周清单专注前端领域内容,以对外文资料的搜集为主,帮助开发者了解一周前端热点;分为新闻热点、开发教程、工程实践、深度阅读、开源项目、巅峰人生等栏目。欢迎关注【前端之巅】微信公...

王下邀月熊
2017/08/29
0
0
几种通讯协议的比较RMI,Httpinvoker,Hessian,Burlap,webservice

一、综述 本文比较了RMI,Hessian,Burlap,Httpinvoker,web service等5种通讯协议的在不同的数据结构和不同数据量时的传输性能。RMI是java语言本身提供的通讯协议,稳定高效,是EJB的基础。...

o0无忧亦无怖
2015/10/15
380
0

没有更多内容

加载失败,请刷新页面

加载更多

Linux iptables之mangle表使用案例

mangle表的用途 mangle表的主要功能是根据规则修改数据包的一些标志位,以便其他规则或程序可以利用这种标志对数据包进行过滤或策略路由。 mangel表使用示例 示例1-策略路由1 内网的客户机通...

月下狼
今天
3
0
OSChina 周日乱弹 —— 兼职我想去学学布偶戏

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @clouddyy : 《火炎 - 女王蜂》 《火炎 - 女王蜂》 手机党少年们想听歌,请使劲儿戳(这里) @小鱼丁 :还在睡觉突然接到一个小哥哥电话“x...

小小编辑
今天
113
7
租房软件隐私保护如同虚设

近日,苏州市民赵先生向江苏新闻广播新闻热线025-84658888反映,他在“安居客”手机应用软件上浏览二手房信息,并且使用该软件自动生成的虚拟号码向当地一家中介公司进行咨询。可电话刚挂不久...

linux-tao
今天
4
0
分布式项目(五)iot-pgsql

书接上回,在Mapping server中,我们已经把数据都整理好了,现在利用postgresql存储历史数据。 iot-pgsql 构建iot-pgsql模块,这里我们写数据库为了性能考虑不在使用mybatis,换成spring jd...

lelinked
今天
6
0
一文分析java基础面试题中易出错考点

前言 这篇文章主要针对的是笔试题中出现的通过查看代码执行结果选择正确答案题材。 正式进入题目内容: 1、(单选题)下面代码的输出结果是什么? public class Base { private Strin...

一看就喷亏的小猿
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部