文档章节

Nginx 做负载均衡的几种轮询策略

烟蒂--未落
 烟蒂--未落
发布于 2016/08/26 23:07
字数 2699
阅读 600
收藏 0

一、nginxupstream目前支持负载均衡方式的分配

1、RR(默认)

每个请求按时间顺序逐一分配到不同的后端服务器,如果后端服务器down掉,能自动剔除。

例如:

 upstream tomcats {

 server 10.1.1.107:88  max_fails=3 fail_timeout=3s weight=9;

 server 10.1.1.132:80  max_fails=3 fail_timeout=3s weight=9;

 }

 

2、ip_hash

每个请求按访问ip的hash结果分配,这样每个访客固定访问一个后端服务器,可以解决session的问题。

例如:

 upstream tomcats {

 ip_hash;

 server 10.1.1.107:88;

 server 10.1.1.132:80;

 }

 

3、fair(第三方)

按后端服务器的响应时间来分配请求,响应时间短的优先分配。

 

4、url_hash(第三方)

按访问url的hash结果来分配请求,使每个url定向到同一个后端服务器,后端服务器为缓存时比较有效。

 

下面,我们针对RR和ip_hash的负载均衡策略进行分析。因为每一种负载均衡策略都是在upstream的框架中使用,upstream控制总的工作流程,负载均衡策略仅仅提供选择或释放server的函数,所以,我们在分析RR时结合upstream(ngx_http_upstream.c)。 ip_hash大部分内容与RR一致,只是重新实现RR中的ngx_http_upstream_get_peer函数。

 

二、RR策略

RR机制分为三个部分:初始化upstream,获取一个可用的后台服务器和释放后台服务器。

以下分析以此配置为例:

upstream backend  {

          server  A  max_fails=3 fail_timeout=4s weight=9;

          server  B  max_fails=3 fail_timeout=4s weight=9;

          server  C  max_fails=3 fail_timeout=4s weight=9;

          server  D  backup;

          Server  E  backup;

}

 

2.1 初始化upstream

   

    对于例子中的upstream backend来说,

 

首先初始化各个server, 除了设置IP和端口号外,还要设置如下置weight,current_weight,max_fails和fail_timeout。其中max_fails和fail_timeout 这两个参数是组合使用的,表示server 如果失败次数达到max_fails 次,并保持fail_timeout秒之内该服务器不能被访问。

   对于serverA来说,设置如下

serverA.weight =9;

serverA.current_weight = 9;  //初始值等于配置文件中的weight.

serverA.max_fails = 3;

serverA.fail_timeout = 4;

 

   接着,创建两个server类型(在下文介绍中,server类型等同于peer类型,都是用来指明存储upstream中一个server的信息)的数组,peers和backup,分别存储正常的轮循server和备用server. 并且,按照数组中各个serverweight值的大小,由高到底排序

   本例中,在数组peers中存储serverA、serverB和 serverC, 并记录server的总个数peers->number=3; 在数组backup中存储serverD和 serverE, 并记录server的总个数backup->number=2;

 

   最后,设置upstream中各个变量的值。

   rrp  表示当前要轮循的server数组,初始设置为Upstream->rrp = peers.

   tries 表示尝试的次数,当尝试一个server失败后,tries的值就会减一。初始设置为peers的总个数。

   Next 表示当peers数组中server都失败,不能提供服务了,通过upstream->next,切换到back数组中选择server.

 

2.2 具体的RR策略

 

2.2.1 ) 选择最初要轮循的server,  把它给rrp->current变量,跳转到2.2.2

   当一个客户端请求到达nginx后,nginx就会在upstream的peers 数组中挑选一个current_weight最大的server作为当前请求最初要轮循的server. 在peers数组中选取current_weight最大的算法如下:

    由于peers数组中的server是按照weight值的大小排序好的。

    它是通过双重循环,满足下列条件后,

 if (peer[n].current_weight * 1000 / peer[i].current_weight > peer[n].weight * 1000 / peer[i].weight)  //peer[i].current_weight不为0

     并且该server的current_weight大于0,就选择sever  n, 把编号n赋给rrp->current,成功返回。

     如果当upstreampeers 数组中的所有servercurrent_weight都为零时,立即无条件地把所有servercurrent_weight设置为初始值。for (i = 0; i < peers->number; i++) {

            peer[i].current_weight = peer[i].weight;

}

    然后,当所有server的current_weight设置为初始值后,重新查找peers 数组中current_weight最大的server。把编号赋给rrp->current,返回。

 

2.2.2 判断当前rrp->current所指向的server是否有效,如果无效,就会让rrp->current++,判断peers数组中下一个server,是否有效。至到找到有效的server为止. 跳转到2.2.3; 否则跳转到2.2.2.1

 

     判断server 是否有效的方法是:

         1)如果server的失败次数(peers->peer[i].fails)没有达到了max_fails所设置的最大失败次数,则该server是有效的。

         2)如果server已经达到了max_fails所设置的最大失败次数,从这一时刻开始算起,在fail_timeout 所设置的时间段内, server是无效的。

         3)当server的失败次数(peers->peer[i].fails)为最大的失败次数,当距离现在的时间超过了fail_timeout 所设置的时间段, 则令peers->peer[i].fails =0,使得该server重新有效。

 

      2.2.2.1如果peers中所有的server都是无效的; 就会尝试去backup的数组中找一个有效的server, 如果找到, 跳转到2.2.3; 如果仍然找不到,表示此时upstream中无server可以使用。就会清空所有peers数组中所有的失败次数的记录,使所有server都变成了有效。这样做的目的是为了防止下次再有请求访问时,仍找不到一个有效的server.

for (i = 0; i < peers->number; i++) {

        peers->peer[i].fails = 0;

}

并返回错误码给nginx,  nginx得到此错误码后,就不再向后台server发请求,而是在nginx的错误日志中输出“no live upstreams while connecting to upstream”的记录(这就是no live产生的真正原因),并直接返回给请求的客户端一个502的错误。

 

2.2.3 当找到一个有效的server后,令该server的current_weight减一,然后,nginx就会尝试与该server建立连接。如果成功建立连接,跳转到2.2.4; 否则 跳转到2.2..3.1

 2.2..3.1 如果nginx在等待了proxy_connect_timeout所设置的时间段后(如3秒),连接仍然没有建立成功,nginx就在错误日志中输出“upstream timed out (110: Connection timed out) while connecting to upstream”的记录(这就是 timed out(连接超时)产生的真正原因).

     2.2.3 .2 接着,让当前server的失败次数加一(peer->fails++; 如果该server最大失败次达到最大失败次数,将在一段时间内该server是无效的),如果当前nginx与后台服务器的尝试次数没有达到upstream中server的总个数,重新跳转到2.2.2, 轮循下一个server, 继续尝试。如果达到最大尝试次数,就表示uptream中所有的server都尝试了一遍,没有server可以提供服务,返回一个504的错误给客户端。

 

    2.2.4 当nginx与server建立连接成功后,如果server响应请求,把处理结果返回给nginx,

跳转到2.2.5; 否则跳转到2.2.4.1

    2.2.4.1 如果nginx在等待了proxy_read_timeout所设置的时间段后(如30秒),server仍然没有对nginx发送来的请求作出响应,nginx就在错误日志中输出“upstream timed out (110: Connection timed out) while reading response header from upstream”的记录(这就是 timed out(读超时)产生的真正原因).

        2.2.4.2 接着,让当前server的失败次数加一(peer->fails++; 如果该server最大失败次达到最大失败次数,将在一段时间内该server是无效的),如果当前nginx与后台服务器的尝试次数没有达到upstream中server的总个数,重新跳转到2.2.2, 轮循下一个server, 继续尝试。如果达到最大尝试次数,就表示uptream中所有的server都尝试了一遍,没有server可以提供服务,返回一个504的错误给客户端。

 

2.2.5 Nginx收到后台server传送过来的结果后,就会返回给客户端一个200的正确结果。这样,nginx作为反向代理的功能也就完成了。

 

 

 

三、Ip_hash策略

3.1 Ip_hash和RR 的策略有两点不同在于:

 

当一个客户请求到nginx后,

1)nginx如何选择一个最初的server,

2)以及当前选择的server不能提供服务时,如何选择下一个server.

 

3.2  RR策略回顾

从第二部分对RR的介绍中,我们知道:

当一个客户请求到达后,RR策略是从upstream的所有server中选择一个当前权重(current_weight)最大的server作为最初的server.

upstream的所有server是按照由高到低排序后存储在一个peers数组中,当最初选择的server不能提供服务时,RR策略就会选择peers数组中的下一个元素作为当前server,继续尝试, 如果已经达到数组的最大元素,就会从第一个元素再轮循。

 

3.3 ip_hash策略介绍

   在ip_hash策略中,它选择最初的server的方法是根据请求客户端的IP计算出一个哈希值,再根据哈希值选择后台的服务器。

1)由IP计算哈希值的算法如下, 其中公式中hash初始值为89,iphp->addr[i]表示客户端的IP, 通过三次哈希计算得出一个IP的哈希值:

for (i = 0; i < 3; i++) {

      hash = (hash * 113 + iphp->addr[i]) % 6271;

}

 

2)在选择下一个server时,ip_hash的选择策略是这样的:

   它在上一次哈希值的基础上,再次哈希,就会得到一个全新的哈希值,再根据哈希值选择另外一个后台的服务器。

哈希算法仍然是

for (i = 0; i < 3; i++) {

      hash = (hash * 113 + iphp->addr[i]) % 6271;

}

 

    在这种ip_hash策略,如果一个后台服务器不能提供提服务(连接超时或读超时),该服务器的失败次数就会加一,当一个服务器的失败次数达到max_fails所设置的值,就会在fail_timeout所设置的时间段内不能对外提供服务,这点和RR是一致的。

   如果当前server不能提供服务,就会根据当前的哈希值再哈希出一个新哈希值,选择另一个服务器继续尝试,尝试的最大次是upstream中server的个数,如果server的个数超过20,也就是要最大尝试次数在20次以上,当尝试次数达到20,仍然找不到一个合适的服务器,ip_hah策略不再尝试ip哈希值来选择server, 而在剩余的尝试中,它会转而使用RR的策略,使用轮循的方法,选择新的server。

3)除了以上部分不同外,IP_hash的其余部分和RR完全一样,因为它的其余部分功能的实现都是通过调用RR中的函数。

4)IP_hash优势是把同一个客户IP的请求分配给同一个后台服务器。

本文转载自:

烟蒂--未落
粉丝 0
博文 52
码字总数 22633
作品 0
郑州
程序员
私信 提问
nginx学习之反向代理负载均衡

nginx是一款很强大的http和反向代理服务器。它的功能非常强大。 并不是一开始就需要负载均衡集群,当网络流量不断增长,单个处理单元无法满足负载请求时,网络应用流量将要出现瓶颈时,负载均...

yaoruixue
2017/07/14
0
0
快速理解高性能HTTP服务端的负载均衡技术原理

1、前言 在一个典型的高并发、大用户量的Web互联网系统的架构设计中,对HTTP集群的负载均衡设计是作为高性能系统优化环节中必不可少的方案。HTTP负载均衡的本质上是将Web用户流量进行均衡减压...

JackJiang2011
2018/09/11
0
0
不懂高性能的负载均衡设计?没关系,架构师带你飞

在软件系统的架构设计中,对集群的负载均衡设计是作为高性能系统优化环节中必不可少的方案。负载均衡本质上是用于将用户流量进行均衡减压的,因此在互联网的大流量项目中,其重要性不言而喻。...

微笑很纯洁
2018/09/11
0
0
Nginx服务器之负载均衡策略(6种)

一、关于Nginx的负载均衡   在服务器集群中,Nginx起到一个代理服务器的角色(即反向代理),为了避免单独一个服务器压力过大,将来自用户的请求转发给不同的服务器。详情请查看我的另一篇...

左羽
2018/07/17
0
0
Nginx服务器之负载均衡策略

负载均衡用于从“upstream”模块定义的后端服务器列表中选取一台服务器接受用户的请求。一个最基本的upstream模块是这样的,模块内的server是服务器列表: #动态服务器组   在upstream模块...

BryceLoski
06/10
44
0

没有更多内容

加载失败,请刷新页面

加载更多

IDEA ----Lombok工具 (用于简化 javaBean 的编写)

Lombok是一个可以通过简单的注解形式来帮助我们简化消除一些必须有但显得很臃肿的Java代码的工具,通过使用对应的注解,可以在编译源码的时候生成对应的方法。 1. 在项目中的pom.xml确定版本...

安然_oschina
37分钟前
6
0
RPA开发教程丨RPA+NLP邮件智能分析

RPA+NLP邮件项目背景 随着公司规模的不断扩大,公司商务邮箱里面的邮件也越来越多,而业务人员在繁忙的工作期,必须加班加点投入其中,由此,对邮件进行智能分析自动处理,变成了一种迫切需求...

UiBot
40分钟前
7
0
【百度AI语音合成】会员到访门店语音提醒

每次会员到访都需要。会员自主结账或找导购才能被发现。或者需要一个人员站在门口,并且对会员都全部了解,才能对会员到访进行更好服务的接待。 小帅为了免去这些操作呢。就想到了百度AI。语...

小帅帅丶
41分钟前
7
0
markdown语言使用

md基础入门 标题 使用一级标题hello world! Hello World! 其他类型的标题展示 一级标题 二级标题 三级标题 四级标题 五级标题 ######六级标题 ##段落换行 换行时有两种 末尾空2个空格 用一个...

writeademo
47分钟前
11
0
nginx启动无反应,看了logs下面的error.log后发现could not build server_names_hash错误

could not build server_names_hash, you should increase server_names_hash_bucket_size: 32 应该是说你的server_names配置太多了,超过了默认的32个字符 要加大 在http段里面添加 server...

yoblue
今天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部