memcached性能测试之Twemperf

2018/07/18 18:40
阅读数 25

Twemperf又名mcperf,是一款memcached的性能测试工具。Mcperf就像httperf,但它基于memcached的协议,它使用memcached的ASCII协议并且能够快速的产生大量memcached连接和请求。该工具主要用于memcached性能测试,模拟大并发set、get等的操作,mcperf只能运行在unix/linux环境下。

一、下载

Twemperf对应的github下载地址:https://github.com/twitter/twemperf

二、安装

下载后,传到任意一台服务器上(注:只能在linux上运行)解压安装。

tar zxvf mcperf-0.1.1.tar.gz
cd mcperf-0.1.1
sudo autoreconf -fvi  //然后就生成configure文件啦。。。。
CFLAGS="-ggdb3 -O0" ./configure --enable-debug
sudo make
sudo make install

三、运行

1、首先运行memcached(默认端口是11211,若运行memcached的时候自己指定了端口号,下面执行Twemperf工具命令时注意相应的指定IP和端口,因为Twemperf工具默认是11211端口哦)。

./memcached -d -m 256 -l 10.142.90.152 -u root -p 8718 -vv
参数名称	作用
-d	以守护进程方式启动。如果该参数没有指定,当按ctrl+c命令结束,memcache自动关闭
-m	分配给memcache使用的最大内存数 单位是m,默认是64m
-u	指定运行memcache的用户
-l:	指定监听的ip地址
-p	指定监听的tcp端口号,可以通过-u指定udp端口.默认是11211
-c	最大并发连接数 默认是1024(注意:所以启动memcached的时候不进行设置可能导致用twemperf工具测试时设置连接数过大导致工具崩溃哦。。。
-P	报错进程id的文件

-p, --port=<num>          TCP port to listen on (default: 11211)
-U, --udp-port=<num>      UDP port to listen on (default: 0, off)
-s, --unix-socket=<file>  UNIX socket to listen on (disables network support)
-A, --enable-shutdown     enable ascii "shutdown" command
-a, --unix-mask=<mask>    access mask for UNIX socket, in octal (default: 0700)
-l, --listen=<addr>       interface to listen on (default: INADDR_ANY)
-d, --daemon              run as a daemon
-r, --enable-coredumps    maximize core file limit
-u, --user=<user>         assume identity of <username> (only when run as root)
-m, --memory-limit=<num>  item memory in megabytes (default: 64 MB)
-M, --disable-evictions   return error on memory exhausted instead of evicting
-c, --conn-limit=<num>    max simultaneous connections (default: 1024)
-k, --lock-memory         lock down all paged memory
-v, --verbose             verbose (print errors/warnings while in event loop)
-vv                       very verbose (also print client commands/responses)
-vvv                      extremely verbose (internal state transitions)
-h, --help                print this help and exit
-i, --license             print memcached and libevent license
-V, --version             print version and exit
-P, --pidfile=<file>      save PID in <file>, only used with -d option
-f, --slab-growth-factor=<num> chunk size growth factor (default: 1.25)
-n, --slab-min-size=<bytes> min space used for key+value+flags (default: 48)
-L, --enable-largepages  try to use large memory pages (if available)
-D <char>     Use <char> as the delimiter between key prefixes and IDs.
              This is used for per-prefix stats reporting. The default is
              ":" (colon). If this option is specified, stats collection
              is turned on automatically; if not, then it may be turned on
              by sending the "stats detail on" command to the server.
-t, --threads=<num>       number of threads to use (default: 4)
-R, --max-reqs-per-event  maximum number of requests per event, limits the
                          requests processed per connection to prevent 
                          starvation (default: 20)
-C, --disable-cas         disable use of CAS
-b, --listen-backlog=<num> set the backlog queue limit (default: 1024)
-B, --protocol=<name>     protocol - one of ascii, binary, or auto (default)
-I, --max-item-size=<num> adjusts max item size
                          (default: 1mb, min: 1k, max: 128m)
-F, --disable-flush-all   disable flush_all command
-X, --disable-dumping     disable stats cachedump and lru_crawler metadump
-o, --extended            comma separated list of extended options
                          most options have a 'no_' prefix to disable

  

2、twemperf工具使用说明

安装完成后在$twemperf/src下面有mcperf命令,使用参数如下说明:

image

其中文解释大致如下:

Options:
-h, –help            : 显示帮助
-V, –version         : 显示版本
-v, –verbosity=N     : 设置日志级别(默认为5,最小0,最大11)
-o, –output=S        : 设置日志文件(默认输出标准错误)
-s, –server=S        : 设置需要测试的服务器(默认是本机)
-p, –port=N          : 设置需要测试的端口(默认是11211)
-H, –print-histogram :打印响应时间的柱状图

-t, –timeout=X       : 设置链接和响应的超时时间(默认是0秒)
-l, –linger=N        : 设置TCP连接的断开时间(默认不开启)
-b, –send-buffer=N   : 设置socket发送缓冲区大小(默认是4096字节)
-B, –recv-buffer=N   : 设置socket接收缓冲区大小(默认是16384字节)
-D, –disable-nodelay : 取消TCP延迟

-m, –method=M        : memcached的一些基本操作(例如set、get、add、delete等,默认是set)
-e, –expiry=N        : set the expiry value in sec for generated requests (default: 0 sec)
-q, –use-noreply     : set noreply for generated requests
-P, –prefix=S        : set the prefix of generated keys (default: mcp:)

-c, –client=I/N      : set mcperf instance to be I out of total N instances (default: 0/1)
-n, –num-conns=N     :设置连接数(默认是1)
-N, –num-calls=N     : 设置每一个连接发送的请求数(默认是1)
-r, –conn-rate=R     : 设置每秒建立多少个连接(默认是每秒0个连接,每一个连接在上一个连接断开后创建)
-R, –call-rate=R     : 设置每秒发送的请求数(默认是每秒0个请求,每一个请求在上一个请求响应后发送)
-z, –sizes=R         : 发送存储数据的大小(默认是1个字节)

3、用法示例

官网示例一:创建1000个并发连接,来连接本机的11211端口(此端口是该工具的默认端口),连接创建的速度是每秒1000个,每一个连接发送“set”请求10次(相当于迭代10次),这10次请求在每秒1000的请求的速度下发送,发送的数据大小在(也就是存入到memcached中的value的大小)1~16个字节中正态分布。

命令为:mcperf --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10 --num-conns=1000 --sizes=u1,16

官网示例二:创建100个连接,来连接本机的11211端口,每一个连接在上一个连接断开后创建,每一个连接发送100个“set”请求,每一个请求是在收到上一个请求的响应之后创建,发送的数据大小是1个字节。

命令为:mcperf --linger=0 --call-rate=0 --num-calls=100 --conn-rate=0 --num-conns=100 --sizes=d1

(IP和端口若需要变则通过以下参数设置 --server=10.142.90.152 --port=8718)

示例三:

src/mcperf -s 10.142.90.152 -p 8718 --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10000 --num-conns=100 --sizes=u1024,10240

(--num-conns=100是并发建立100个连接;--num-calls=10000是在一个连接上发1w个请求;--sizes是数据大小在1k和10k之间称正态分布;-conn-rate=1000是1秒钟建立1000个连接)

示例四:

mcperf --linger=0 --timeout=5 --conn-rate=1000 --call-rate=1000 --num-calls=10 --num-conns=1000 --sizes=u1,16 --server=10.142.90.152 --port=8718 --method=set

image

结果字段解释

Total:显示总的连接数,总的请求数,总的响应数以及测试所花费的时间。

Connection rate:实际每秒的连接数

Connection time:实际每个连接花费的时间(包括连接时间,set时间等)

Connect time:连接所花费的时间(仅仅是连接所用的时间)

Request rate:每秒的请求数

Request size:每个请求的字节大小

Response rate:每秒的响应数

Response size:响应的字节大小

Response time:响应的时间(单位毫秒)

Response type:stored表示存储的数量,not_stored表示没有存储的数量,exists表示已经存在的数量,not_found表示没有找到的数量

再后面的参数没有较大意义,故此不解释。

示例五:测试的脚本(主要是控制call-rate和num-calls两个参数值来对应不同并发):

#!/bin/bash
# 1M=1048576B
data_size=(d100 d102400 d307200 d512000 d1048500)
data_size_readable=(100B 100K 300K 500K 1M)
memory_size=(256 512 1024 2048 5120)
# call_data=(200 300 500 800 1000)
   call_data=(10 30 50 80 100 200)
# call_data=(10 30 50 80 100 200 300 500 800 1000)
# call_data=(2000 3000 5000 8000 10000)

#./memcached -d -m 256 -l 10.xx.xx.152 -u root -p 8718 -vv

for((i=0;i<5;i++));do
        for((j=0;j<6;j++));do
                echo "****************method=set  conns=100    data_size=${data_size_readable[i]}  call-rate=${call_data[j]}  num-calls=${call_data[j]}****************";
                
                ./../src/mcperf --linger=0 --timeout=5000 --conn-rate=100 --call-rate=${call_data[j]} --num-calls=${call_data[j]} --num-conns=100 --sizes=${data_size[i]} --server=10.xxx.xx.152 --port=8718 --method=set
                if [ ${j} -ge 1 ]; then        
                        sleep 1m
                fi
                if [ $? -ne 0 ]; then
                     echo "***************************failed***************************"
                fi
        done;
done;

 

四、结论

通过上面的介绍,可以看出,用mcperf测试memcache的方法就是调整不同的参数值来执行命令,经过多次采样后得出结果。

一般重点关注Total、Connection rate、Request rate、Response rate、Response time、Response type、Net I/O这几个指标。

通过多次测试采样,得到以上需要的数据之后可以用excel表格做出一个统计效果来观看。

 

五、实际测试结果示例

使用mcperf对memcached进行测试,对于平台架构部署以及客户端代码的优化有着重要意义。下面是网上一篇博客文章中使用mcperf对memcached进行性能测试所得的简要结果报告。

测试环境: 操作系统:centos-5.5-x86_64 内存:1G CPU:1核

结论一:

由以下图表可见,存储的数据越大,则随着并发数的上升memcached处理请求的速度下降越明显。因此,存储数据不宜过大,如果确实要存储较大数据,建议拆分成两个或多个key存储。

                        图1 单机部署,每线程迭代10000次,发送数据100字

 

                          图2 单机部署,每线程迭代10000次,发送数据1024字节

 

 

                                    图3 集群部署,每线程迭代10000次,发送数据100字节

 

 

                                     图4 集群部署,每线程迭代10000次,发送数据1024字节

结论二:

由以上图标显示,用户并发请求情况下,memcached集群部署能够提升请求效率,并且并发用户数越大,集群部署提升的性能越明显(平均耗时小,吞吐量大)。

图略。。。

结论三:

Memcached中key(键)最大允许250个英文字符或27个中文字,超过这些最大值,则数据无法存储。另外,官方文档指出,value(值)最大允许存储1M的数据,超过1M的数据无法存储(不会存储)。因此

建议,key不宜太大,value也不宜过大,如果value超过1M,建议存储到两个或多个key中。

结论四:

Memcached内存存储满数据之后,之后再存储的数据不会再消耗内存,最老的数据会被删除(LRU算法),memcached启动参数默认是开启LRU(近期最少使用算法)的。如果启动参数加上-M则不开启LRU算

法,此时如果内存已满再存放数据则会报错。 由上面的图标可得,当存放的数据大小变化不是很大时,尽量将growth_factor(增长因子)的值设小(最小为1,但是不能是1,默认为1.25),此参数在

memcached启动时指定:-f 1.25。该参数的设置根据存储数据大小决定。根据实际测试几百字节(<1K以内)的数据建议将此参数设置为1.2(而非默认的1.25),将明显提升memcached的内存使用率。

结论五:

两台服务器同时运行性能测试 每台5000并发,写入速度每秒10次,导致memcached服务器网卡瘫痪,待服务器自动恢复后,memcached进程崩溃。 每台1800并发,写入速度每秒10次,数据无法写入

memcached,运行一段时间后,出现大量阻塞进程,内存飙升,网络流量激增,最后网卡瘫痪 每台1500并发,写入速度每秒10次,数据写入OK,但系统资源占用严重 网卡瘫痪的原因是数据写入太大,net

 I/O负担过重导致瘫痪,memcached进程崩溃原因尚不明确。因此建议并发量不宜超过3000。

结论六:

由上图可知,并发量在100左右时,存(set)和取(get)数据速度最快,速度大约在13000req/s。

结论七(memcached的BUG?):

图中所示,memcached实际存储的数据量超过memcached设定的内存大小(开启或关闭LRU的情况下都存在此问题)。此BUG必现步骤:

1、  将memcached内存大小设置为4M(或其他较小数值)
2、  重启memcached
3、  使用java客户端运行测试,执行set操作,每次存储数据大小10K
4、  待memcached无法再存数据后,停止测试,将存储数据大小改为1K,然后继续执行set操作
5、  运行几秒后此问题可必现 

参考网址:

https://my.oschina.net/u/561917/blog/908414

http://blog.51cto.com/332532/1897359

 

https://yq.aliyun.com/articles/489374?spm=5176.10695662.1996646101.searchclickresult.3df5402f4HMIm0

http://maoyidao.iteye.com/blog/1757613

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部