文档章节

软件技术架构:通过限流与熔断,打造一个“靠谱”的系统

博文视点Bv
 博文视点Bv
发布于 10/30 09:52
字数 1924
阅读 21
收藏 0

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>>

如果“高并发”是为了让系统变得“有效率”,可以抵抗大规模用户访问,那限流与熔断就是为了让系统变得“更靠谱”。靠谱包括了高可用性、稳定性、可靠性,做一个“靠谱”的系统需要从很多方面着手,本文着重与大家探讨“限流”与“熔断”。

本文选自《软件架构设计:大型网站技术架构与业务架构融合之道》一书。


file

限流在日常生活中很常见,景点限流、早晚高峰限流等。对应到计算机中,比如要办活动、秒杀等,通常会限流。限流可以分为技术层面的限流和业务层面的限流。技术层面的限流比较通用,各种业务场景都可以用到;业务层面的限流需要根据具体的业务场景做开发。

**(1)技术层面的限流。**一种是限制并发数,也就是根据系统的最大资源量进行限制,比如数据库连接池、线程池、Nginx的limit_conn模块;另一种是限制速率(QPS),比如Guava的RateLimiter、Nginx的limit_req模块。

限制速率的这种方式对于服务的接口调用非常有用。比如通过压力测试可以知道服务的QPS是2000,就可以限流为2000QPS。当调用方的并发量超过了这个数字,会直接拒绝提供服务。这样一来,即使突然有大量的请求进来,服务也不会被压垮,虽然部分请求被拒绝了,但保证了其他的服务可以正常处理。一般成熟的RPC框架都有相应的配置,可以对每个接口进行限流,不需要业务人员自己开发。

**(2)业务层面的限流。**比如在秒杀系统中,一个商品的库存只有100件,现在有2万人抢购,没有必要放2万个人进来,只需要放前500个人进来,后面的人直接返回已售完即可。

针对这种业务场景,可以做一个限流系统,或者叫售卖的资格系统(票据系统),票据系统里面存放了500张票据,每来一个人,领一张票据。领到票据的人再进入后面的业务系统进行抢购;对于领不到票据的人,则返回已售完。

在具体实现上,有团队使用Redis,也有团队直接基于Nginx + Lua脚本来实现,两者的思路类似。

**(3)限流算法。**限制并发数的计算原理很简单,系统只需要维护正在使用的资源数或空闲数,比如数据库的连接数、线程池的线程数。限制速率的算法稍微复杂,常用的有漏桶算法和令牌桶算法,下面详细介绍。

▊ 漏桶算法

file

  • 漏桶的容量是固定的,流出的速率是恒定的;
  • 流入的速率是任意的;
  • 如果桶是空的,则不需流出;
  • 如果流入数据包超出了桶的容量,则流入的数据包溢出了(被丢弃),而漏桶容量不变。

▊ 令牌桶算法

file

  • 令牌桶的容量也是固定的,向里流入令牌的速率是恒定的;
  • 当令牌桶满时,新加入的令牌会被丢弃;
  • 当一个请求到达之后,从桶中取出一个令牌。如果能取到令牌,则该请求将被处理;
  • 如果取不到令牌,则该请求要么被丢弃,要么排队。

对比两个算法会发现,二者的原理刚好相反,一个是流出速率保持恒定,一个是流入速率保持恒定。二者的用途有一定差别:令牌桶限制的是平均流入速率,而不是瞬时速率,因为可能出现一段时间没有请求进来,令牌桶里塞满了令牌,然后短时间内突发流量过来,一瞬间(可以认为是同时)从桶里拿几个令牌出来;漏桶有点类似消息队列,起到了削峰的作用,平滑了突发流入速率。

file

当电路发生短路、温度升高,可能烧毁整个电路的时候,保险丝会自动熔断,切断电路,从而保护整个电路系统。

在计算机系统中,也有类似设计保险丝的思路。熔断有两种策略:一种是根据请求失败率,一种是根据请求响应时间。

**(1)根据请求失败率做熔断。**对于客户端调用的某个服务,如果服务在短时间内大量超时或抛错,则客户端直接开启熔断,也就是不再调用此服务。然后过一段时间,再把熔断打开,如果还不行,则继续开启熔断。这也正是经常提到的“快速失败(Fail Fast)”原则。

以Hystrix为例,它有几个参数来配置熔断器的策略:

circuitBreaker.requestVolumeThreshold     //滑动窗口的大小,默认为20 
circuitBreaker.sleepWindowInMilliseconds //过多长时间,熔断器再次检测是否开启,默认为5000,即5s
circuitBreaker.errorThresholdPercentage  //失败率,默认为50%

三个参数放在一起,所表达的意思是:每20个请求中,有50%失败时,熔断器就会打开,此时再调用此服务,将会直接返回失败,不再调用远程服务。直到5s之后,重新检测该触发条件,判断是否把熔断器关闭,或者继续打开。

**(2)根据请求响应时间做熔断。**除了根据请求失败率做熔断,阿里巴巴公司的Sentinel还提供了另外一种思路:根据请求响应时间做熔断。当资源的平均响应时间超过阈值后,资源进入准降级状态。接下来如果持续进入5个请求,且它们的RT持续超过该阈值,那么在接下来的时间窗口内,对这个方法的调用都会自动地返回。代码样例如下:

DegradeRule rule = new DegradeRule();
rule.setResource(“xxx”);
rule.setCount(50);
rule.setGrade(RuleConstant.DEGRADE_GRADE_RT);
rule.setTimeWindow(5000);

样例中的时间单位是ms,意思是当平均响应时间大于50ms,并且接下来持续5个请求的RT都超过50ms时,熔断将开启。5000ms之后,熔断将再次关闭。

与限流进行对比会发现:限流是服务端,根据其能力上限设置一个过载保护;而熔断是调用端对自己做的一个保护。

注意:能熔断的服务肯定不是核心链路上的必选服务。如果是的话,则服务如果超时或者宕机,前端就不能用了,而不是熔断。所以,说熔断其实也是降级的一种方式。


《软件架构设计:大型网站技术架构与业务架构融合之道》

余春龙 著

自成一派的架构设计方法论,教你体系化的架构设计思维,点击了解本书详情。

系统的高可用性、稳定性与可靠性需要从很多方面着手,本文带你了解如何通过“限流”与“熔断”让系统变得“更靠谱”。

© 著作权归作者所有

博文视点Bv
粉丝 0
博文 18
码字总数 44574
作品 0
私信 提问
基于分布式环境下限流系统的设计

前提 业务背景 就拿前些天的双十一的 “抢券活动” 来说,一般是设置整点开始抢的,你想想,淘宝的用户群体非常大,可以达到亿级别,而服务接口每秒能处理的量是有限的,那么这个时候问题就会...

t4i2b10X4c22nF6A
2017/11/18
0
0
限流熔断技术选型:从Hystrix到Sentinel

高可用架构:Hystrix作为大家熟知的容错组件,最近宣布停止开发,很多人对其背景可能了解不多。作为Spring Cloud官方默认的熔断组件,您觉得Hystrix是出于哪些原因停止开发呢? 子衿/宿何:这...

xiaomin0322
06/05
125
0
阿里巴巴宣布 Sentinel 开源,进一步完善 Dubbo 生态(附PPT和视频)

随着微服务的流行,服务和服务之间的稳定性变得越来越重要。Sentinel以流量为切入点,从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。Sentinel 作为阿里巴巴“大中台、小前...

中间件小哥
2018/08/03
0
0
系统不做限流,我看你是对中国人口数量有什么误解

在软件架构领域,“限流”与“熔断”是两个经常会被同时提及的概念,它们都是系统高可用不可缺少的重要武器。 熔断是指在一个系统中,如果服务出现了过载现象,为了防止造成整个系统故障而切...

编辑部的故事
01/10
13.6K
16
服务熔断、降级、限流、异步RPC -- HyStrix

在今天,基于SOA的架构已经大行其道。伴随着架构的SOA化,相关联的服务熔断、降级、限流等思想,也在各种技术讲座中频繁出现。本文将结合Netflix开源的Hystrix框架,对这些思想做一个梳理。 ...

java一日一条
2018/03/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

CountDownLatch、Semaphore等4大并发工具类详解

Java并发工具包 1.并发工具类 提供了比synchronized更加高级的各种同步结构:包括CountDownLatch、CyclicBarrier、Semaphore等,可以实现更加丰富的多线程操作。 2.并发容器 提供各种线程安全...

Java阿七
4分钟前
3
0
general-biz使用教程

general-biz使用教程 1. 技术目标 简化biz层基础业务开发,实现单表基础业务代码简洁易读,通过注解方式实现基础业务实现类托管,项目启动时动态生成,和动态加载到spring容器中。 2. 下载地...

sharelords
22分钟前
3
0
源码分析Kafka 消息拉取流程(文末两张流程图)

本节重点讨论 Kafka 的消息拉起流程。 @TOC 1、KafkaConsumer poll 详解 消息拉起主要入口为:KafkaConsumer#poll方法,其声明如下: public ConsumerRecords<k, v> poll(final Duration t...

中间件兴趣圈
25分钟前
3
0
如何在Java中创建通用数组?

由于Java泛型的实现,因此不能有以下代码: public class GenSet<E> { private E a[]; public GenSet() { a = new E[INITIAL_ARRAY_LENGTH]; // error: generic array crea......

javail
31分钟前
4
0
redis数据类型/键值/服务常用操作、安全设置

Redis数据类型和常用操作 Redis有5中数据类型,分别是string(字符串)、list(链表)、set(集合)、sorted set(有序集合)、hash(哈希) 1.string string为最简单的类型,与Memcached一样,一个key...

asnfuy
41分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部