文档章节

nginx源码分析-多进程socket的处理

t
 tickbh
发布于 04/16 16:39
字数 1048
阅读 540
收藏 5
这篇文章主要分析的是linux及windows的socket处理,如何避免惊群及进程间负载均衡的探讨,
这里的惊群主要是指多进程对于新建的连接如何避免同时争用accept现象的处理。

进程的创建

  • linux

    进程创建的方式主要通过fork来创建出子进程

    // src/os/unix/ngx_process.c
    ngx_pid_t ngx_spawn_process(ngx_cycle_t *cycle, ngx_spawn_proc_pt proc, void *data,
    char *name, ngx_int_t respawn) {
        ...
        pid = fork();
        ...
    }
    
  • windows

    进程创建的方式主要通过CreateProcess来创建出子进程,并且通过非继承的方式创建子进程(即子进程不共享父进程的文件句柄)。

    // src/os/win32/ngx_process.c
    ngx_pid_t ngx_execute(ngx_cycle_t *cycle, ngx_exec_ctx_t *ctx) {
        ...
        if (CreateProcess(ctx->path, ctx->args,
                      NULL, NULL, 0, //此变量为0表示句柄不继承
                      CREATE_NO_WINDOW, NULL, NULL, &si, &pi)
            == 0)
        {
            ngx_log_error(NGX_LOG_CRIT, cycle->log, ngx_errno,
                        "CreateProcess(\"%s\") failed", ngx_argv[0]);
            return 0;
        }
        ...
    }
    

ListenSocket的建立

  • linux

    由主进程先监听端口, 监听完后fork新的子进程共享父进程的socket句柄,所以在linux中,同个地址只会监听一次。在执行reload的时候会检查新的监听,或者挪除旧的监听(但如果是同一个端口的,假设127.0.0.1:80,改成0.0.0.0:80则无法生效),然后启动新的进程,同时向旧的进程发送退出状态,此时旧的进程不再接受新的连接。 启动三个linux进程, 但其中只有一个监听 (启动三个linux进程, 但其中只有一个监听)

  • windows

    由于不共享父进程的句柄,每个子进程都是相对独立的各体,每个进程都独立进行监听(采用的设置SO_REUSEADDR从而实现对同一个地址多次绑定的效果)。但在windows上实测,采用SO_REUSEADDR实现的监听同一个地址,只会在第一个进程能成功调用Accept函数,只有第一个进程被关闭后,第二个监听到才能成功Accept。 启动8个进程, 每个程序都重复监听了该端口 (启动8个进程, 每个程序都重复监听了该端口) 这是显示刚初始运行的情况 (这是显示刚初始运行的情况) 用ab测试进行的压力测试 (用ab测试进行的压力测试, 显示只有一个进程正在对外服务, 其实的都是空闲状态)

如何控制accept

  • linux

    主要通过共享锁,只有得到锁的进程才会进行尝试调用accept事件

    // src/event/ngx_event.c
    void
    ngx_process_events_and_timers(ngx_cycle_t *cycle)
    {
        //是否启用共享锁控制,linux默认启动
        if (ngx_use_accept_mutex) {
            //每次accept成功后都会重新赋该值,如果负载高,这值为正
            //从而减少负载高的进程得到锁的概率
            if (ngx_accept_disabled > 0) {
                ngx_accept_disabled--;
            } else {
                //尝试获取共享锁,该函数立即返回不等待
                //如果成功获取该锁,则进行accept事件的投递
                if (ngx_trylock_accept_mutex(cycle) == NGX_ERROR) {
                    return;
                }
            }
        }
    }
    

    当某进程连接数超过总worker_connections的7/8的时候,开始进行压力控制

    // src/event/ngx_event_accept.c
    void ngx_event_accept(ngx_event_t *ev)
    {
        ...
        //ngx_cycle->connection_n表示当前配置总的work_connections
        //ngx_cycle->free_connection_n表示剩余可接受的连接数
        //当可用连接数越少时,ngx_accept_disabled值越大,也就是获取锁的难度越高
        ngx_accept_disabled = ngx_cycle->connection_n / 8
                            - ngx_cycle->free_connection_n;
        ...
    }
    
  • windows

    windows每个进程都是独立控制accept接收,没有锁控制,由于实测没有进程的压力都在单一的进程上(windows10测试)。

其它可行性方案探讨

  • linux

    linux通过启用SO_REUSEADDR及SO_REUSEPORT,达到可同一个地址在多个进程监听多次,统一由系统来分配socket给谁accept。 优点:避免使用锁,统一系统分配 缺点:进程负载分配不像手动控制那么精准,如果系统上有其它程序,可以通过监听同个端口达到偷取数据的目的,低版本的linux不支持此选项 示例参考:Linux ReusePort, ReuseAddr

  • windows

    windows通过CreateProcess并且设置其中的子进程继承,通过命令行的方式把句柄值传递给子进程,启动进程后关闭主进程的句柄,从而使子进程拥有各自独立的accept权限。通过锁或者时序来控制谁来accept。 示例参与:Rust版的windows CreateProcess控制 用ab测试进行的压力测试 (运行截图, 其中584进程每接受一个新的socket时sleep 10秒时间)

© 著作权归作者所有

共有 人打赏支持
t
粉丝 12
博文 11
码字总数 9269
作品 3
厦门
服务器高并发网络设计模型

Nginx网络模型 一、进程模型 Nginx之所以为广大码农喜爱,除了其高性能外,还有其优雅的系统架构。与Memcached的经典多线程模型相比,Nginx是经典的多进程模型。Nginx启动后以daemon的方式在...

满小茂
2016/08/28
155
0
nginx源码分析—启动流程

作者:阿波 本文链接:http://blog.csdn.net/livelylittlefish/article/details/7243718 Content 0. 序 1. main()分析 2. 注意问题 2.1 几个初值 2.2 nginx工作模式 2.3 一些配置 2.4 其他开...

晨曦之光
2012/03/09
1K
0
workerman运行分析--主进程流程

基本上,workerman使用多进程的方式、使用libevent事件监听网络连接,达到高并发。它与nginx的进程模型相似,连接的处理,是由子进程完成的,主进程主要的工作是: 监听端口,生成子进程要共...

月影又无痕
2016/01/13
739
2
Nginx 的工作原理 和优化

1. Nginx的模块与工作原理 Nginx由内核和模块组成,其中,内核的设计非常微小和简洁,完成的工作也非常简单,仅仅通过查找配置文件将客户端请求映射到一个location block(location是Nginx配...

lining_at_HERE
2013/10/23
0
0
openstack-webservice之eventlet

tornado是一个完整的轻量级web框架,利用tornado即可完成一个网站的搭建,而openstack的web架构却采用另一种思路来设计。这个设计思路我之前提到过,也就是openstack的所有设计,都是插件式,...

Jun_Wong
2017/11/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Coding and Paper Letter(二十四)

资源整理。这一次内容有点多,拆为两篇,这一篇主要针对Coding。 Coding: 1.R语言包geex,用于估计参数的框架和来自R中的一组无偏估计方程(即M-估计)的经验夹层协方差矩阵。 geex 2.R语言...

胖胖雕
19分钟前
1
0
Python中使用SQLite

SQLite: SQLite是一种数据库,Python中集成了SQLite3,所以在Python中使用SQLite,可以直接导入SQLite包,不需要做额外的配置。 更多的SQLite简介和相关知识可以查看专门的教程:http://ww...

akane_oimo
22分钟前
1
0
05《Java核心技术36讲》之几种字符串类有什么区别?

一、提出问题 今天,我们来聊聊日常使用的字符串,别看它似乎很简单,但其实字符串几乎在所有编程语言里都是个特殊的存在,因为不管是数量还是体积,字符串都是大多数应用中的重要组成。 今天...

飞鱼说编程
40分钟前
1
0
Univalsal_ImageLoader源码结构与创建者模式 初步小结

最近在回归看Univalsal_ImageLoader源码,本想自己也实现试试写一个,看源码是为了学习看能否使用,助于自己可以写出有自己逻辑结构的代码。 首先我们初始化ImageLoader的配置初始化的时候,...

DannyCoder
今天
0
0
计算卷积神经网络浮点数运算量

前言 本文主要是介绍了,给定一个卷积神经网络的配置之后,如何大概估算它的浮点数运算量。 相关代码:CalFlops,基于MXNet框架的 Scala 接口实现的一个计算MXNet网络模型运算量的demo。 正文...

Ldpe2G
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部