文档章节

【GO语言】合理配置GOMAXPROCS提升一倍以上的性能

LinkerLin
 LinkerLin
发布于 2017/08/07 20:58
字数 841
阅读 1994
收藏 2
点赞 2
评论 4

GOMAXPROCS 用默认的,就是CPU的硬件线程数目,

对于大部分File IO密集的应用是不合适的。

至少应该配置到硬件线程数目的5倍以上, 最大1024。

具体参见

这是为什么呢?

我们来复习下Go的线程模型,M/P/G 三种对象,分别代表 操作系统线程、协程执行令牌、协程;

在任何情况下,Go运行时并行执行(注意,不是并发)的goroutines数量是小于等于P的数量的。

如果一个持有P的M,由于P当前执行的G调用了syscall而导致M被阻塞,那么:

注意

注意

注意

关键点:此时,GO的调度器是迟钝的,它很可能什么都没做,直到M阻塞了想当长时间以后,才会发现有一个P/M被syscall阻塞了。然后,才会用空闲的M来强这个P。

补充说明:调度器迟钝不是M迟钝,M也就是操作系统线程,是非常的敏感的,只要阻塞就会被操作系统调度(除了极少数自旋的情况)。但是GO的调度器会等待一个时间间隔才会行动,这也是为了减少调度器干预的次数。也就是说,如果一个M调用了什么API导致了操作系统线程阻塞了,操作系统立刻会把这个线程M调度走,挂起等阻塞解除。这时候,Go调度器不会马上把这个M持有的P抢走。这就会导致一定的P被浪费了。

这就是为何,GOMAXPROCS 太小,也就是P的数量太少,会导致IO密集(或者syscall较多)的go程序运行缓慢的原因

那么,GOMAXPROCS 很大,超过硬件线程的8倍,会不会有开销呢?

答案是,开销是有的,但是远小于Go运行时迟钝的调度M来抢夺P而导致CPU利用不足的开销。

P.S.

本文至少对Go 1.8版本是有效的。

P.S.

其实,这也是经典的长肥管道问题,由于SSD的普及,IO操作从高延时低吞吐,变成了中高延时高吞吐。

一次SSD IO的延时在1ms,而一块企业级SSD的吞吐在100Kops,那么在队列里面的操作就有 100个。

操作系统在1ms内可以完成很多次线程调度(一般情况1ms可以完成几十次线程调度),但是Go的运行时,最大的阻塞发现延时是10ms。

于是,当一个Go的协程发起一次SSD IO时,执行该G的M会阻塞然后被OS调度走,该M一直持有P。在1ms内,这次SSD IO很可能不会完成。Go的运行时,最快在20us,最慢在10ms会发现有一个M持有P并阻塞了。运气不好的话,很可能,Go运行时2ms才扫描一次,于是没来得及发现这个阻塞的M,阻塞就结束了。宝贵的P资源就这么被阻塞的M浪费了。SSD IO的ops上限变成了

P的数量 *(1s/IO延时)

当P的数量小于100,IO延时1ms的时候,ops就肯定小于100Kops了。

 

 

 

 

 

 

 

© 著作权归作者所有

共有 人打赏支持
LinkerLin

LinkerLin

粉丝 70
博文 60
码字总数 13570
作品 1
长宁
程序员
加载中

评论(4)

LinkerLin
LinkerLin

引用来自“南阁”的评论

有个疑问P的本质到底是什么?
P就是令牌
南阁
南阁
有个疑问P的本质到底是什么?
LinkerLin
LinkerLin

引用来自“一只废喵”的评论

我之前以为goroutine阻塞之后会立即有另一个goroutine被调度到这个线程上,原来不是这样的啊。相当于golang调度器是定时执行的对吗?
Go的调度器是定时但是变定时间隔执行的。
时间间隔在0.02~10ms之间,大部分时候,在1ms上下波动。
一只废喵
一只废喵
我之前以为goroutine阻塞之后会立即有另一个goroutine被调度到这个线程上,原来不是这样的啊。相当于golang调度器是定时执行的对吗?
golang和java的http性能对比

公司要重构一个统计项目,统计部分要提供一个web收数的接口,因为统计系统的日志量十分大,所以对web服务的性能要求很严格,在技术选择的背景下做了golang和java的性能对比. 测试环境: mac pro 1...

sundy-li
2015/01/12
0
1
年终盘点!2017年超有价值的Golang文章

年终盘点!2017年超有价值的Golang文章 鸟窝2017-12-281 阅读 Go 马上就要进入2018年了,作为年终的盘点,本文列出了一些2017年的关于Go编程的一些文章,并加上简短的介绍。 文章排名部分先后...

鸟窝
2017/12/28
0
0
Spring Roo 1.1.1 发布,性能大幅提升

该版本包含了超过250 个bug修复和改进,值得关注的有: 与 1.1.0 版本比较,性能提升超过一倍以上 改善对 VMforce 和 Google App Engine 的云数据库支持 提升了可用性和使用手册 显著的 Goog...

红薯
2011/01/11
454
0
PHP的BeanStalkd扩展--PHP-BeanStalk

PHP-BeanStalk是基于C开发的支持PHP5和PHP7的BeanStalkd扩展,此扩展相对php书写的客户端性能提升一倍左右 实现了对BeanStalkd协议的支持。 BeanStalkd是一个高性能的队列服务器,而当前的p...

qzfzz
2016/05/09
1K
0
Infinispan 5.1.4.FINAL 发布

Infinispan 5.1.4.FINAL 发布了,修复了一些bug外,提升了 Infinispan 的 Memcached 和 REST 服务的性能。另外从该版本开始默认 worker 线程数将提升一倍,并可自行进行配置。 完整的改进记录...

红薯
2012/04/27
364
0
【AI计算的新摩尔定律】3.5个月翻一倍,6年增长30万倍

推动人工智能发展的因素有三个:算法创新、数据(可以是有监督的数据或交互式的环境),以及可用于训练的计算量。算法创新和数据很难追踪,但计算量是可量化的,这为衡量人工智能的进展速度提...

技术小能手
05/17
0
0
TCL基于IBM PureFlex实现SAP ERP整合

  【IT168 资讯】近日,IBM宣布TCL多媒体科技控股有限公司基于IBM专家集成系统PureFlex,实现全球范围SAP ERP系统的全面整合,在大幅降低运维成本的同时将SAP ERP系统性能提升一倍以上。目前...

it168网站
2013/11/26
0
0
Go 的快速 HTTP 包--fasthttp

fasthttp 是 Go 的快速 HTTP 实现,当前在 1M 并发的生产环境使用非常成功,可以从单个服务器进行 100K qps 的持续连接。 HTTP 服务器性能与 net/http 比较 总而言之,fasthttp 比 net/http...

叶秀兰
2015/11/26
2.4K
0
纽约时报:软件性能突飞猛进推翻摩尔定律

根据《纽约时报》网络版周一刊载的文章,软件开发的突飞猛进推翻了“摩尔定律”。 摩尔定律是指IC上可容纳的晶体管数目,约每隔18个月便会增加一倍,性能也将提升一倍。摩尔定律是由英特尔(...

老枪
2011/03/09
1K
12
golang多核陷阱一例

同时发布在独立博客。 以前一直以为,在Golang中,针对高并发的情况,采用多核处理一定效果最优,但是项目实践证明事实不是这样的。 在Sniper项目中(一个结合了ab和siege优点的http负载测试工...

lubia
2013/11/10
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

32.filter表案例 nat表应用 (iptables)

10.15 iptables filter表案例 10.16/10.17/10.18 iptables nat表应用 10.15 iptables filter表案例: ~1. 写一个具体的iptables小案例,需求是把80端口、22端口、21 端口放行。但是,22端口我...

王鑫linux
今天
0
0
shell中的函数&shell中的数组&告警系统需求分析

20.16/20.17 shell中的函数 20.18 shell中的数组 20.19 告警系统需求分析

影夜Linux
今天
0
0
Linux网络基础、Linux防火墙

Linux网络基础 ip addr 命令 :查看网口信息 ifconfig命令:查看网口信息,要比ip addr更明了一些 centos 7默认没安装ifconfig命令,可以使用yum install -y net-tools命令来安装。 ifconfig...

李超小牛子
今天
1
0
[机器学习]回归--Decision Tree Regression

CART决策树又称分类回归树,当数据集的因变量为连续性数值时,该树算法就是一个回归树,可以用叶节点观察的均值作为预测值;当数据集的因变量为离散型数值时,该树算法就是一个分类树,可以很...

wangxuwei
昨天
1
0
Redis做分布式无锁CAS的问题

因为Redis本身是单线程的,具备原子性,所以可以用来做分布式无锁的操作,但会有一点小问题。 public interface OrderService { public String getOrderNo();} public class OrderRe...

算法之名
昨天
9
0
143. Reorder List - LeetCode

Question 143. Reorder List Solution 题目大意:给一个链表,将这个列表分成前后两部分,后半部分反转,再将这两分链表的节点交替连接成一个新的链表 思路 :先将链表分成前后两部分,将后部...

yysue
昨天
1
0
数据结构与算法1

第一个代码,描述一个被称为BankAccount的类,该类模拟了银行中的账户操作。程序建立了一个开户金额,显示金额,存款,取款并显示余额。 主要的知识点联系为类的含义,构造函数,公有和私有。...

沉迷于编程的小菜菜
昨天
1
0
从为什么别的队伍总比你的快说起

在机场候检排队的时候,大多数情况下,别的队伍都要比自己所在的队伍快,并常常懊悔当初怎么没去那个队。 其实,最快的队伍只能有一个,而排队之前并不知道那个队快。所以,如果有六个队伍你...

我是菜鸟我骄傲
昨天
1
0
分布式事务常见的解决方案

随着互联网的发展,越来越多的多服务相互之间的调用,这时候就产生了一个问题,在单项目情况下很容易实现的事务控制(通过数据库的acid控制),变得不那么容易。 这时候就产生了多种方案: ...

小海bug
昨天
3
0
python从零学——scrapy初体验

python从零学——scrapy初体验 近日因为一些事情,需要从网上爬取一些东西,故而想通过使用爬虫来顺便学习下强大的python。现将一些学习中遇到的问题记录下来,以便日后查询 1. 开发环境的准...

咾咔叽
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部