文档章节

开启reuse_port让Tengine性能提升3倍

anglix
 anglix
发布于 2015/11/28 22:22
字数 1451
阅读 7134
收藏 274
点赞 37
评论 37

为什么 reuse_port

  • 记得 2008 年做性能测试的时候,新进7台 lenovo 4核4G 服务器用于性能测试。

  • 当时资源紧张,这7台服务器都装了双系统(Win2003/CentOS5)空闲时用于做肉鸡(压测的Agent)。

  • 当时给Nginx做了一系列测试,印象很深的是:在这批机器上,Nginx状态页面的压测。

短连接的话最佳QPS约4万,长连接的话最高QPS约13万。

  • 大概3年后,那批 lenovo 服务器已经没人瞧得上了,只能做肉鸡。
  • 然而,一次不经意的测试,发现再牛的服务器,短连接最佳QPS也高不了多少。
  • 而且,肉鸡的资源没用完,被测试服务器的资源也用不完,网络也没瓶颈。

服务器资源使用率很低,然而响应就是不够快。

  • 最后,我们发现了 SO_REUSEPORT。对,瓶颈在这(监听的入口)!

引入 LVS fullnat

  • 当时用的 CentOS 5、6,内核版本都还在 2.6。
  • 尝试过新内核,遇到一些奇怪的现象无力维护,最终放弃。
  • 也可以用Nginx监控多个IP来突破瓶颈(多虚拟几个IP),维护成本略高。
  • 也可以用LVSNAT方式来做转发,然而NAT对网络的要求你懂的。
  • 最终我们决定使用 淘宝LVS,依赖 淘宝内核
  • 然后使用 fullnat ,将对外端口映射到每个节点的多个端口(而非多IP)。
  • 曾在线上做过极端测试,效果非常显著。然后我们就上线了!

原本10多台服务器的压力,全压到1台服务器的10多个端口上。居然抗住了

压测 reuse_port

  • 如果我用 Debian 最新 Jessie 发行版,默认内核 3.16.0-4。
  • 然而 Tengine 早已支持 reuse_port (原生Nginx要到1.9.1才支持)。
  • 开启 reuse_port 后,你会发现有很多进程同时监听80端口:
    多进程监听
  • 加压后你会发现,服务器性能可被你榨干:
    CPU耗尽
  • 对比一下测试 reuse_port 的效果,小伙伴们惊呆了(短连接QPS过了24万)!
    最高QPS过24万
  • 真相大白后,你还等什么?

探个究竟

  • 测试过程中由于压大 TCP: Possible SYN flooding on port 80. ,出大量错误 。
  • 于是将并发量降到了6万 net.core.somaxconn = 65535
  • 再关闭 reuse_port 后,我们看下 perf top的情况:
    耗在锁上面
  • 然后再打开 reuse_port ,对比 perf top 的情况:
    应用占比上来了
  • 此时再放大 Nginx 监听的 back_log ,看下资源使用情况:
    cpu的idle都为零
  • 我们来看看些时的队列情况(有入队过万了):
    已发挥到极致
  • 然后我们再来挑战30万并发(MTT是平均响应时间(ms)):
    挑战成功
  • 经过一系列调优,相同环境相同并发量,没有再出现 TCP: Possible SYN flooding on port 80.。但出现了少量连接超时的情况:
2015-11-29 01:31:54,779 ERROR Connection timed out
java.net.ConnectException: Connection timed out
	at HTTPClient.HTTPConnection$EstablishConnection.run(HTTPConnection.java:4082) ~[grinder-httpclient-3.9.1.jar:na]

测试环境

Dell PowerEdge M620
Intel(R) Xeon(R) CPU E5-2620 v2 @ 2.10GHz
Linux 3.16.0-4-amd64 #1 SMP Debian 3.16.7-ckt11-1+deb8u3 (2015-08-04) x86_64 GNU/Linux
Ethernet controller: Broadcom Corporation NetXtreme II BCM57810 10 Gigabit Ethernet (rev 10)
Tengine version: Tengine/2.1.1 (nginx/1.6.2)
built by gcc 4.9.2 (Debian 4.9.2-10)
TLS SNI support enabled
configure arguments: --user=www-data --group=www-data --with-pcre-jit --prefix=/usr/share/nginx --sbin-path=/usr/sbin/nginx --dso-tool-path=/usr/sbin/dso_tool --dso-path=/usr/share/nginx/modules --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-syslog --with-jemalloc --with-mail --with-file-aio --with-mail_ssl_module --with-http_ssl_module --with-google_perftools_module --with-http_auth_request_module --with-http_dav_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module --with-http_spdy_module --with-http_stub_status_module --with-http_realip_module --with-http_addition_module --with-http_xslt_module --with-http_image_filter_module --with-http_geoip_module --with-http_sub_module --with-http_flv_module --with-http_slice_module --with-http_mp4_module --with-http_concat_module --with-http_random_index_module --with-http_secure_link_module --with-http_sysguard_module --with-http_split_clients_module=shared --with-http_referer_module=shared --with-http_uwsgi_module=shared --with-http_scgi_module=shared --with-http_memcached_module=shared --with-http_limit_conn_module=shared --with-http_limit_req_module=shared --with-http_empty_gif_module=shared --with-http_browser_module=shared --with-http_user_agent_module=shared --with-http_upstream_ip_hash_module=shared --with-http_upstream_least_conn_module=shared --with-http_upstream_session_sticky_module=shared --with-http_reqstat_module=shared --with-http_lua_module --with-luajit-inc=/usr/include/luajit-2.0 --with-luajit-lib=/usr/lib/x86_64-linux-gnu --with-cpu-opt=amd64 --with-ld-opt=-Wl,-z,relro --with-cc-opt='-g -O2 -fstack-protector-strong -Wformat -Werror=format-security -D_FORTIFY_SOURCE=2' --add-module=../echo-nginx-module-0.58 --add-module=../headers-more-nginx-module-0.261 --add-module=../redis2-nginx-module-0.12 --add-module=../ngx_cache_purge-2.3 --add-module=../ngx_cache_path_status-1.0
loaded modules:
    ngx_core_module (static)
    ngx_errlog_module (static)
    ngx_conf_module (static)
    ngx_dso_module (static)
    ngx_syslog_module (static)
    ngx_events_module (static)
    ngx_event_core_module (static)
    ngx_epoll_module (static)
    ngx_procs_module (static)
    ngx_proc_core_module (static)
    ngx_openssl_module (static)
    ngx_regex_module (static)
    ngx_http_module (static)
    ngx_http_core_module (static)
    ngx_http_log_module (static)
    ngx_http_upstream_module (static)
    ngx_http_spdy_module (static)
    ngx_http_static_module (static)
    ngx_http_gzip_static_module (static)
    ngx_http_dav_module (static)
    ngx_http_autoindex_module (static)
    ngx_http_index_module (static)
    ngx_http_random_index_module (static)
    ngx_http_concat_module (static)
    ngx_http_upstream_ip_hash_module (shared, 3.1)
    ngx_http_upstream_least_conn_module (shared, 3.1)
    ngx_http_auth_request_module (static)
    ngx_http_auth_basic_module (static)
    ngx_http_limit_conn_module (shared, 3.1)
    ngx_http_access_module (static)
    ngx_http_limit_req_module (shared, 3.1)
    ngx_http_realip_module (static)
    ngx_http_geo_module (static)
    ngx_http_geoip_module (static)
    ngx_http_split_clients_module (shared, 3.1)
    ngx_http_map_module (static)
    ngx_http_reqstat_module (shared, 3.1)
    ngx_http_user_agent_module (shared, 3.1)
    ngx_http_referer_module (shared, 3.1)
    ngx_http_rewrite_module (static)
    ngx_http_ssl_module (static)
    ngx_http_proxy_module (static)
    ngx_http_uwsgi_module (shared, 3.1)
    ngx_http_fastcgi_module (static)
    ngx_http_scgi_module (shared, 3.1)
    ngx_http_empty_gif_module (shared, 3.1)
    ngx_http_memcached_module (shared, 3.1)
    ngx_http_browser_module (shared, 3.1)
    ngx_http_secure_link_module (static)
    ngx_http_sysguard_module (static)
    ngx_http_flv_module (static)
    ngx_http_slice_module (static)
    ngx_http_mp4_module (static)
    ngx_http_upstream_consistent_hash_module (static)
    ngx_http_upstream_check_module (static)
    ngx_http_upstream_keepalive_module (static)
    ngx_http_upstream_dynamic_module (static)
    ngx_http_stub_status_module (static)
    ngx_http_redis2_module (static)
    ngx_http_cache_purge_module (static)
    ngx_http_slowfs_module (static)
    ngx_cache_path_status_module (static)
    ngx_http_write_filter_module (static)
    ngx_http_header_filter_module (static)
    ngx_http_chunked_filter_module (static)
    ngx_http_spdy_filter_module (static)
    ngx_http_range_header_filter_module (static)
    ngx_http_gzip_filter_module (static)
    ngx_http_postpone_filter_module (static)
    ngx_http_ssi_filter_module (static)
    ngx_http_charset_filter_module (static)
    ngx_http_xslt_filter_module (static)
    ngx_http_image_filter_module (static)
    ngx_http_sub_filter_module (static)
    ngx_http_addition_filter_module (static)
    ngx_http_gunzip_filter_module (static)
    ngx_http_userid_filter_module (static)
    ngx_http_footer_filter_module (static)
    ngx_http_upstream_session_sticky_module (shared, 3.1)
    ngx_http_trim_filter_module (static)
    ngx_http_headers_filter_module (static)
    ngx_http_echo_module (static)
    ngx_http_headers_more_filter_module (static)
    ngx_http_lua_module (static)
    ngx_http_copy_filter_module (static)
    ngx_http_range_body_filter_module (static)
    ngx_http_not_modified_filter_module (static)
    ngx_mail_module (static)
    ngx_mail_core_module (static)
    ngx_mail_ssl_module (static)
    ngx_mail_pop3_module (static)
    ngx_mail_imap_module (static)
    ngx_mail_smtp_module (static)
    ngx_mail_auth_http_module (static)
    ngx_mail_proxy_module (static)
    ngx_google_perftools_module (static)
  • Nginx 配置如下:
user www-data;
worker_processes auto;
pid /run/nginx.pid;
events {
	use epoll;
	multi_accept off;
	reuse_port on;
	worker_connections  1048576;
}
dso { # 动态加载功能模块 /usr/share/nginx/modules
	load ngx_http_memcached_module.so;
	load ngx_http_limit_conn_module.so;
	load ngx_http_empty_gif_module.so;
	load ngx_http_scgi_module.so;
	load ngx_http_upstream_session_sticky_module.so;
	load ngx_http_user_agent_module.so;
	load ngx_http_referer_module.so;
	load ngx_http_upstream_least_conn_module.so;
	load ngx_http_uwsgi_module.so;
	load ngx_http_reqstat_module.so;
	load ngx_http_browser_module.so;
	load ngx_http_limit_req_module.so;
	load ngx_http_split_clients_module.so;
	load ngx_http_upstream_ip_hash_module.so;
}
http {
	include       /etc/nginx/mime.types;
	default_type  text/plain;
	access_log  off;
	sendfile        on;
	tcp_nopush	on;
	tcp_nodelay	on;
	server_tokens off; 
	keepalive_timeout  120;
	server_names_hash_bucket_size 512;
	server_name_in_redirect off;
	fastcgi_connect_timeout 3s;
	fastcgi_send_timeout 3s;
	fastcgi_read_timeout 3s;
	fastcgi_buffer_size 128k;
	fastcgi_buffers 8 128k;
	fastcgi_busy_buffers_size 256k;
	fastcgi_temp_file_write_size 256k;
	variables_hash_max_size  1024;
	set_real_ip_from 10.0.0.0/8;
	set_real_ip_from 172.28.0.0/16;
	set_real_ip_from 192.168.0.0/16;
	real_ip_header X-Forwarded-For;
	gzip off;
	gzip_disable "msie6";
	gzip_min_length 1k;
	gzip_buffers 16 64k;
	gzip_http_version 1.1;
	gzip_comp_level 6;
	gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
	gzip_vary on;
	ssl_protocols TLSv1 TLSv1.1 TLSv1.2; # Dropping SSLv3, ref: POODLE
	ssl_prefer_server_ciphers on;
	access_log /var/log/nginx/access.log;
	error_log /var/log/nginx/error.log;
	server {
		listen       80 backlog=65535;
		charset utf-8;
		location / { # 打印Tengine状态页
			stub_status on; # 开启状态页,依赖 http_stub_status_module 模块
			access_log  off; #访问过程不记日志
		}
		location ~ ^(.*)\/\.(svn|git|hg|bzr|cvs)\/ { # 屏蔽这些目录
			deny all;
			access_log off;
			log_not_found off;
		}
		location ~ /\. { # 屏蔽.开头的目录或文件,比如  .htaccess .bash_history
			deny all;
			access_log off;
			log_not_found off;
		}
		location /do_not_delete.html {
			access_log off;
			empty_gif;
		}
	}
}

© 著作权归作者所有

共有 人打赏支持
anglix

anglix

粉丝 31
博文 35
码字总数 17615
作品 0
珠海
系统管理员
加载中

评论(37)

anglix
anglix

引用来自“qzlaobi”的评论

有个疑问 开启了reuse_port 后 multi_accept 是否是多余的?
不用担心,打开 reuse_port 会禁用 multi_accept 。 the reuseport parameter also disables the accept_mutex directive for the socket。
anglix
anglix

引用来自“caibo2014”的评论

测试软件是什么,方便介绍下吗
Ngrinder,前面有介绍 。 http://my.oschina.net/anglix/blog/536937
anglix
anglix

引用来自“冰力”的评论

nginx 1.9 不就是加了这个功能吗?- -
没错,同一个东西。 Tengine在在Nginx的1.6.2上就加了这个功能,然而Nginx在1.9.1才开放。
anglix
anglix

引用来自“独爱剑走偏锋”的评论

请问 端口复用在内核多少版本实现的??
Linux 3.9 以上就可以了。
anglix
anglix

引用来自“eechen”的评论

Nginx官方基准测试:Nginx 1.9.1启用reuseport完美解决惊群后,每秒处理的请求数提升了2到3倍,同时降低了延迟和stdev指标.
http://nginx.com/blog/socket-sharding-nginx-release-1-9-1/
是的,同一个东西。 Tengine在在Nginx的1.6.2上就加了这个功能,然而Nginx在1.9.1才开放。
anglix
anglix

引用来自“灰度乌鸦”的评论

请教一下,那个截图中有"tps,mtt,出错率,虚拟用户"的软件是什么? @anglix
Ngrinder,开源分布式测试工具。 这里有介绍 : http://my.oschina.net/anglix/blog/536937
anglix
anglix

引用来自“灰度乌鸦”的评论

那个截图有"tps,mtt,出错率,虚拟用户"的是什么软件?
Ngrinder,开源分布式测试工具。 这里有介绍 : http://my.oschina.net/anglix/blog/536937
anglix
anglix

引用来自“zzcv”的评论

求压测工具+1
http://my.oschina.net/anglix/blog/536937 Ngrinder,开源分布式测试工具。
anglix
anglix

引用来自“采飞扬”的评论

用来提测统计的软件不错啊,叫什么名字?不会是Tengine自带的吧
Ngrinder,分布式测试(开源)。挺好用
anglix
anglix

引用来自“哈哈爱兮爱兮乎乎”的评论

你这是哪个版本的nginx?
Tengine/2.1.1 (nginx/1.6.2)
阿里七层流量入口 Tengine硬件加速探索之路

Tengine在软件层面已经有了深度的调试和优化经验,但是在硬件层面,通用处理器(CPU)已经进入了摩尔定律,有了瓶颈。而在业务量突飞猛进的当下,如何利用硬件来提升性能,承载双11等大型活动...

樰篱 ⋅ 05/29 ⋅ 0

hetao 0.2.0 发布,原 htmlserver

一周前我发布了超高性能 Web 服务器软件 htmlserver(登陆时手误用了我的另一个很早就不用的账号 BetonArmEE,其实 calvinwilliams 才是我的正号^_^),引起了朋友们的广泛回应,针对名字取得...

calvinwilliams ⋅ 2016/08/29 ⋅ 32

2017双11技术揭秘—千亿级流量来袭,如何用硬件加速技术为CPU减负?

作者:王发康(毅松) 主站接入层是阿里2015年全站HTTPS项目诞生的产品,目前已经承载集团90%以上的入口流量。2016年主站接入层不仅在运维自动化、高可用领域取得重大突破,而且软件层面上也...

中间件小哥 ⋅ 2017/12/26 ⋅ 0

后摩尔时代,如何给你的CPU减负?

导读:通用处理器(CPU)的摩尔定律已入暮年,而机器学习和Web服务的规模却在指数级增长。如何用硬件加速来提升性能、降低成本?下面我们一起来看看。 一、背景介绍 通用处理器(CPU)的摩尔...

技术边城 ⋅ 05/14 ⋅ 0

tengine配了reuse_port之后遇到的问题

tengine配了reuse_port之后,reload不生效,会报nginx: [emerg] listen() to 0.0.0.0:80, backlog 511 failed (98: Address already in use),除非重启。。请问大家有遇到过吗?...

turbo73 ⋅ 2015/03/30 ⋅ 2

CDN HTTPS 最佳实践系列——HTTP/2(二)

背景 HTTP/2 是最新的 HTTP 协议,已于2015年5月份正式发布,Chrome、 IE11、Safari 以及 Firefox 等主流浏览器已经支持 HTTP/2 协议。阿里云 CDN 在2016年7月份开始全网支持 HTTP/2,是国内...

樰篱说 ⋅ 2017/11/14 ⋅ 0

为什么7层负载均衡压测性能低

为什么7层负载均衡压测性能低 7层性能会比4层性能低 负载均衡集群采用LVS和Tengine实现,其中4层监听经过LVS后直接到达后端服务器,而7层监听经过LVS后,还需要再经过Tengine,最后达到后端服...

cmlq ⋅ 2016/02/16 ⋅ 0

优化Linux下的内核TCP参数来提高服务器负载能力

提高服务器的负载能力,是一个永恒的话题。在一台服务器CPU和内存资源额定有限的情况下,最大的压榨服务器的性能,是最终的目的。要提高Linux系统下的负载能力,可以先启用Apache的Worker模式...

天亮说再见 ⋅ 2017/11/09 ⋅ 0

Linux 网络内核参数优化来提高服务器并发处理能力

简介 提高服务器性能有很多方法,比如划分图片服务器,主从数据库服务器,和网站服务器在服务器。但是硬件资源额定有限的情况下,最大的压榨服务器的性能,提高服务器的并发处理能力,是很多...

baby神啊 ⋅ 2017/11/14 ⋅ 0

提高服务器并发能力

简介 提高服务器性能有很多方法,比如划分图片服务器,主从数据库服务器,和网站服务器在服务器。但是硬件资源额定有限的情况下,最大的压榨服务器的性能,提高服务器的并发处理能力,是很多...

mapleZDW ⋅ 2016/12/05 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JavaScript零基础入门——(八)JavaScript的数组

JavaScript零基础入门——(八)JavaScript的数组 欢迎大家回到我们的JavaScript零基础入门,上一节课我们讲了有关JavaScript正则表达式的相关知识点,便于大家更好的对字符串进行处理。这一...

JandenMa ⋅ 今天 ⋅ 0

sbt网络问题解决方案

转自:http://dblab.xmu.edu.cn/blog/maven-network-problem/ cd ~/.sbt/launchers/0.13.9unzip -q ./sbt-launch.jar 修改 vi sbt/sbt.boot.properties 增加一个oschina库地址: [reposit......

狐狸老侠 ⋅ 今天 ⋅ 0

大数据,必须掌握的10项顶级安全技术

我们看到越来越多的数据泄漏事故、勒索软件和其他类型的网络攻击,这使得安全成为一个热门话题。 去年,企业IT面临的威胁仍然处于非常高的水平,每天都会看到媒体报道大量数据泄漏事故和攻击...

p柯西 ⋅ 今天 ⋅ 0

Linux下安装配置Hadoop2.7.6

前提 安装jdk 下载 wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz 解压 配置 vim /etc/profile # 配置java环境变量 export JAVA_HOME=/opt/jdk1......

晨猫 ⋅ 今天 ⋅ 0

crontab工具介绍

crontab crontab 是一个用于设置周期性被执行的任务工具。 周期性执行的任务列表称为Cron Table crontab(选项)(参数) -e:编辑该用户的计时器设置; -l:列出该用户的计时器设置; -r:删除该...

Linux学习笔记 ⋅ 今天 ⋅ 0

深入Java多线程——Java内存模型深入(2)

5. final域的内存语义 5.1 final域的重排序规则 1.对于final域,编译器和处理器要遵守两个重排序规则: (1)在构造函数内对一个final域的写入,与随后把这个被构造对象的引用赋值给一个引用...

江左煤郎 ⋅ 今天 ⋅ 0

面试-正向代理和反向代理

面试-正向代理和反向代理 Nginx 是一个高性能的反向代理服务器,但同时也支持正向代理方式的配置。

秋日芒草 ⋅ 今天 ⋅ 0

Spring 依赖注入(DI)

1、Setter方法注入: 通过设置方法注入依赖。这种方法既简单又常用。 类中定义set()方法: public class HelloWorldOutput{ HelloWorld helloWorld; public void setHelloWorld...

霍淇滨 ⋅ 昨天 ⋅ 0

马氏距离与欧氏距离

马氏距离 马氏距离也可以定义为两个服从同一分布并且其协方差矩阵为Σ的随机变量之间的差异程度。 如果协方差矩阵为单位矩阵,那么马氏距离就简化为欧氏距离,如果协方差矩阵为对角阵,则其也...

漫步当下 ⋅ 昨天 ⋅ 0

聊聊spring cloud的RequestRateLimiterGatewayFilter

序 本文主要研究一下spring cloud的RequestRateLimiterGatewayFilter GatewayAutoConfiguration @Configuration@ConditionalOnProperty(name = "spring.cloud.gateway.enabled", matchIfMi......

go4it ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部