文档章节

Netty那点事(四)Netty与Reactor模式

黄亿华
 黄亿华
发布于 2014/02/08 18:46
字数 2306
阅读 11351
收藏 88

Reactors

一:Netty、NIO、多线程?

时隔很久终于又更新了!之前一直迟迟未动也是因为积累不够,后面比较难下手。过年期间@李林锋hw发布了一个Netty5.0架构剖析和源码解读 http://vdisk.weibo.com/s/C9LV9iVqH13rW/1391437855,看完也是收获不少。前面的文章我们分析了Netty的结构,这次咱们来分析最错综复杂的一部分-Netty中的多线程以及NIO的应用。

理清NIO与Netty的关系之前,我们必须先要来看看Reactor模式。Netty是一个典型的多线程的Reactor模式的使用,理解了这部分,在宏观上理解Netty的NIO及多线程部分就不会有什么困难了。

本篇文章依然针对Netty 3.7,不过因为也看过一点Netty 5的源码,所以会有一点介绍。

二:Reactor,反应堆还是核电站?

1、Reactor的由来

Reactor是一种广泛应用在服务器端开发的设计模式。Reactor中文大多译为“反应堆”,我当初接触这个概念的时候,就感觉很厉害,是不是它的原理就跟“核反应”差不多?后来才知道其实没有什么关系,从Reactor的兄弟“Proactor”(多译为前摄器)就能看得出来,这两个词的中文翻译其实都不是太好,不够形象。实际上,Reactor模式又有别名“Dispatcher”或者“Notifier”,我觉得这两个都更加能表明它的本质。

那么,Reactor模式究竟是个什么东西呢?这要从事件驱动的开发方式说起。我们知道,对于应用服务器,一个主要规律就是,CPU的处理速度是要远远快于IO速度的,如果CPU为了IO操作(例如从Socket读取一段数据)而阻塞显然是不划算的。好一点的方法是分为多进程或者线程去进行处理,但是这样会带来一些进程切换的开销,试想一个进程一个数据读了500ms,期间进程切换到它3次,但是CPU却什么都不能干,就这么切换走了,是不是也不划算?

这时先驱们找到了事件驱动,或者叫回调的方式,来完成这件事情。这种方式就是,应用业务向一个中间人注册一个回调(event handler),当IO就绪后,就这个中间人产生一个事件,并通知此handler进行处理。这种回调的方式,也体现了“好莱坞原则”(Hollywood principle)-“Don't call us, we'll call you”,在我们熟悉的IoC中也有用到。看来软件开发真是互通的!

好了,我们现在来看Reactor模式。在前面事件驱动的例子里有个问题:我们如何知道IO就绪这个事件,谁来充当这个中间人?Reactor模式的答案是:由一个不断等待和循环的单独进程(线程)来做这件事,它接受所有handler的注册,并负责先操作系统查询IO是否就绪,在就绪后就调用指定handler进行处理,这个角色的名字就叫做Reactor。

2、Reactor与NIO

Java中的NIO可以很好的和Reactor模式结合。关于NIO中的Reactor模式,我想没有什么资料能比Doug Lea大神(不知道Doug Lea?看看JDK集合包和并发包的作者吧)在《Scalable IO in Java》解释的更简洁和全面了。NIO中Reactor的核心是Selector,我写了一个简单的Reactor示例,这里我贴一个核心的Reactor的循环(这种循环结构又叫做EventLoop),剩余代码在learning-src目录下。

	public void run() {
		try {
			while (!Thread.interrupted()) {
				selector.select();
				Set selected = selector.selectedKeys();
				Iterator it = selected.iterator();
				while (it.hasNext())
					dispatch((SelectionKey) (it.next()));
				selected.clear();
			}
		} catch (IOException ex) { /* ... */
		}
	}

3、与Reactor相关的其他概念

前面提到了Proactor模式,这又是什么呢?简单来说,Reactor模式里,操作系统只负责通知IO就绪,具体的IO操作(例如读写)仍然是要在业务进程里阻塞的去做的,而Proactor模式则更进一步,由操作系统将IO操作执行好(例如读取,会将数据直接读到内存buffer中),而handler只负责处理自己的逻辑,真正做到了IO与程序处理异步执行。所以我们一般又说Reactor是同步IO,Proactor是异步IO。

关于阻塞和非阻塞、异步和非异步,以及UNIX底层的机制,大家可以看看这篇文章IO - 同步,异步,阻塞,非阻塞 (亡羊补牢篇),以及陶辉(《深入理解nginx》的作者)《高性能网络编程》的系列。

三:由Reactor出发来理解Netty

1、多线程下的Reactor

讲了一堆Reactor,我们回到Netty。在《Scalable IO in Java》中讲到了一种多线程下的Reactor模式。在这个模式里,mainReactor只有一个,负责响应client的连接请求,并建立连接,它使用一个NIO Selector;subReactor可以有一个或者多个,每个subReactor都会在一个独立线程中执行,并且维护一个独立的NIO Selector。

这样的好处很明显,因为subReactor也会执行一些比较耗时的IO操作,例如消息的读写,使用多个线程去执行,则更加有利于发挥CPU的运算能力,减少IO等待时间。

Multiple Reactors

2、Netty中的Reactor与NIO

好了,了解了多线程下的Reactor模式,我们来看看Netty吧(以下部分主要针对NIO,OIO部分更加简单一点,不重复介绍了)。Netty里对应mainReactor的角色叫做“Boss”,而对应subReactor的角色叫做"Worker"。Boss负责分配请求,Worker负责执行,好像也很贴切!以TCP的Server端为例,这两个对应的实现类分别为NioServerBossNioWorker(Server和Client的Worker没有区别,因为建立连接之后,双方就是对等的进行传输了)。

Netty 3.7中Reactor的EventLoop在AbstractNioSelector.run()中,它实现了Runnable接口。这个类是Netty NIO部分的核心。它的逻辑非常复杂,其中还包括一些对JDK Bug的处理(例如rebuildSelector),刚开始读的时候不需要深入那么细节。我精简了大部分代码,保留主干如下:

abstract class AbstractNioSelector implements NioSelector {

    
    //NIO Selector
    protected volatile Selector selector;

    //内部任务队列
    private final Queue<Runnable> taskQueue = new ConcurrentLinkedQueue<Runnable>();

    //selector循环
    public void run() {
        for (;;) {
            try {
                //处理内部任务队列
                processTaskQueue();
                //处理selector事件对应逻辑
                process(selector);
            } catch (Throwable t) {
                try {
                    Thread.sleep(1000);
                } catch (InterruptedException e) {
                    // Ignore.
                }
            }
        }
    }

    private void processTaskQueue() {
        for (;;) {
            final Runnable task = taskQueue.poll();
            if (task == null) {
                break;
            }
            task.run();
        }
    }

    protected abstract void process(Selector selector) throws IOException;

}

其中process是主要的处理事件的逻辑,例如在AbstractNioWorker中,处理逻辑如下:

    protected void process(Selector selector) throws IOException {
        Set<SelectionKey> selectedKeys = selector.selectedKeys();
        if (selectedKeys.isEmpty()) {
            return;
        }
        for (Iterator<SelectionKey> i = selectedKeys.iterator(); i.hasNext();) {
            SelectionKey k = i.next();
            i.remove();
            try {
                int readyOps = k.readyOps();
                if ((readyOps & SelectionKey.OP_READ) != 0 || readyOps == 0) {
                    if (!read(k)) {
                        // Connection already closed - no need to handle write.
                        continue;
                    }
                }
                if ((readyOps & SelectionKey.OP_WRITE) != 0) {
                    writeFromSelectorLoop(k);
                }
            } catch (CancelledKeyException e) {
                close(k);
            }

            if (cleanUpCancelledKeys()) {
                break; // break the loop to avoid ConcurrentModificationException
            }
        }
    }

这不就是第二部分提到的selector经典用法了么?

在4.0之后,作者觉得NioSelector这个叫法,以及区分NioBossNioWorker的做法稍微繁琐了点,干脆就将这些合并成了NioEventLoop,从此这两个角色就不做区分了。我倒是觉得新版本的会更优雅一点。

3、Netty中的多线程

下面我们来看Netty的多线程部分。一旦对应的Boss或者Worker启动,就会分配给它们一个线程去一直执行。对应的概念为BossPoolWorkerPool。对于每个NioServerSocketChannel,Boss的Reactor有一个线程,而Worker的线程数由Worker线程池大小决定,但是默认最大不会超过CPU核数*2,当然,这个参数可以通过NioServerSocketChannelFactory构造函数的参数来设置。

    public NioServerSocketChannelFactory(
            Executor bossExecutor, Executor workerExecutor,
            int workerCount) {
        this(bossExecutor, 1, workerExecutor, workerCount);
    }

最后我们比较关心一个问题,我们之前ChannlePipeline中的ChannleHandler是在哪个线程执行的呢?答案是在Worker线程里执行的,并且会阻塞Worker的EventLoop。例如,在NioWorker中,读取消息完毕之后,会触发MessageReceived事件,这会使得Pipeline中的handler都得到执行。

    protected boolean read(SelectionKey k) {
        ....

        if (readBytes > 0) {
            // Fire the event.
            fireMessageReceived(channel, buffer);
        }

        return true;
    }

可以看到,对于处理事件较长的业务,并不太适合直接放到ChannelHandler中执行。那么怎么处理呢?我们在Handler部分会进行介绍。

最后附上项目github地址,欢迎交流:https://github.com/code4craft/netty-learning

参考资料:

题图来自:http://www.worldindustrialreporter.com/france-gives-green-light-to-tokamak-fusion-reactor/

© 著作权归作者所有

黄亿华

黄亿华

粉丝 2445
博文 131
码字总数 116344
作品 7
程序员
私信 提问
加载中

评论(10)

talent-tan
talent-tan
博主好,看了前面几篇关于netty的文章,我一直有疑惑
1、暴露给应用层的buffer是不是用jdk原生的bytebuffer更好呢?毕竟jdk是拿bytebuffer来发送和接收的。
2、netty的零拷贝,是全程零拷贝了还是阶段性零拷贝了?是否有buffer的出生到发送结束全过程的分析呢?
3、buffer在发送过程中,为了零拷贝而放弃合并buffer发送,是否有必要?(TCP协议是双向确认机制哦,减少一次发送次数就能加快发送速度)
4、网上一些文章把对象池也往零拷贝概念上靠,是否合适呢?使用对象池本身也需要消耗对象池的管理损耗,所以是否引入对象池后真的对性能有很大帮助?
a
alucardxh
可以看到,对于处理事件较长的业务,并不太适合直接放到ChannelHandler中执行。那么怎么处理呢?我们在Handler部分会进行介绍?大神请问这个问题您哪了有写呢?
-琴兽-
-琴兽-

引用来自“novohust”的评论

博主你好,在阅读源码(3.x)时有两个问题不太理解,向你请教:

1. Nio方式时,对channel write时会判断当前线程是否是io thread,如果是user thread则放入channel的write buffer queue中,等待IO thread执行,这时为什么呢?不能直接在user thread中写吗?

2. Oio方式没有这个机制,无论发起write事件的线程是io thread还是user thread,都直接进入OioWorker的write方法,直接向socket的输出流写数据,为什么这里又不要上面的判断了呢?

3. nio方式中,把channel注册到nioworker这个步骤,为什么要先到一个registerTaskQueue中排队,待IO thread从select方法返回后处理,而不立即做呢?这时出于什么样的原因考虑的?

关于netty这种稍微细节一点的处理方式基本上没什么资料,代码里面注释又很少,所以向您请教下。。另,很希望博主在后续的博文中可以分析一下netty线程模型的演进/碰到的问题/解决的方案,谢谢!
1.假如不放入queue中,多个User thread向channel写数据会发生数据错乱吗?答案是否!那会发什么事呢?请看下SocketChannel(jdk的nio包里的channel,netty的channel最终也是调用这个channel)的write方法注释最后一行(This method may be invoked at any time. If another thread has already initiated a write operation upon this channel, however, then an invocation of this method will block until the first operation is complete. )翻译成中文就是:你可以任何时候调用此方法,但是如果有其他线程已经开始写数据,那么这个操作将会阻塞直到那个线程写完为止!好,结果很明显,多个user thread进行写的时候会发生阻塞,这是我们想要的吗?一旦阻塞后续的操作都会受到影响!为了避免阻塞,所以引入queue的方式,把任务放到队列就可以直接返回了,多nice。。。 2.同理 3.其实也是同理,你看下AbstractSelectableChannel的register方法,他在操作的时候是会synchronized (regLock) 的,这会引起什么你懂的,不做过多解释!
m
mingkongbin

引用来自“res100”的评论

对于处理事件较长的业务,并不太适合直接放到ChannelHandler中执行。那么怎么处理呢?我们在Handler部分会进行介绍。
求下文13

引用来自“DuLerWeil”的评论

同求
看了netty in action 之后,再看此文,理解越深刻,感谢楼主,期待楼主的下文。
DuLerWeil
DuLerWeil

引用来自“res100”的评论

对于处理事件较长的业务,并不太适合直接放到ChannelHandler中执行。那么怎么处理呢?我们在Handler部分会进行介绍。
求下文13
同求
Sun_Oak
Sun_Oak
写的比小说都好,太牛了。如果要是netty4.或者netty5的话 就更好了 呵呵。
novohust
novohust
博主你好,在阅读源码(3.x)时有两个问题不太理解,向你请教:

1. Nio方式时,对channel write时会判断当前线程是否是io thread,如果是user thread则放入channel的write buffer queue中,等待IO thread执行,这时为什么呢?不能直接在user thread中写吗?

2. Oio方式没有这个机制,无论发起write事件的线程是io thread还是user thread,都直接进入OioWorker的write方法,直接向socket的输出流写数据,为什么这里又不要上面的判断了呢?

3. nio方式中,把channel注册到nioworker这个步骤,为什么要先到一个registerTaskQueue中排队,待IO thread从select方法返回后处理,而不立即做呢?这时出于什么样的原因考虑的?

关于netty这种稍微细节一点的处理方式基本上没什么资料,代码里面注释又很少,所以向您请教下。。另,很希望博主在后续的博文中可以分析一下netty线程模型的演进/碰到的问题/解决的方案,谢谢!
res100
res100
对于处理事件较长的业务,并不太适合直接放到ChannelHandler中执行。那么怎么处理呢?我们在Handler部分会进行介绍。
求下文13
石头哥哥
石头哥哥
赞! 79
书一
书一
好文,赞一个
Netty与Reactor模式

引言 1.1 Netty、NIO、多线程 关于Netty与NIO、多线程之间的关系,可以参考@李林锋发布的一个Netty5.0架构剖析和源码解读的文章,在这篇文章中详细的介绍了Java I/O的演进过程和Linux I/O网络...

无寄语
2016/09/11
209
0
Netty精粹之基于EventLoop机制的高效线程模型

Infoq有篇文章提到通过Netty4+Thrift压缩二进制编码技术有人实现了10W TPS(1K的复杂POJO对象)跨节点远程服务调用,对于RPC应用来说高性能的三个主题永远是IO模型、数据协议、线程模型,10W...

Float_Luuu
2016/02/21
11.1K
6
netty学习系列二:NIO Reactor模型 & Netty线程模型

一、NIO Reactor模型 1、Reactor模式思想:分而治之+事件驱动 1)分而治之 一个连接里完整的网络处理过程一般分为accept、read、decode、process、encode、send这几步。 Reactor模式将每个步...

益文的圈
2017/03/27
0
0
Netty 框架

Netty是Reactor模式事件驱动网络框架,Netty不仅用法简单,而且性能和可靠性都很好,所以被很多的中间件作为网络层使用,像dubbo, RocketMQ底层都采用了Netty。 Netty采用的是Reactor模式,由...

AaronSheng
2016/10/14
251
0
新手入门:目前为止最透彻的的Netty高性能原理和框架架构解析

1、引言 Netty 是一个广受欢迎的异步事件驱动的Java开源网络应用程序框架,用于快速开发可维护的高性能协议服务器和客户端。 本文基于 Netty 4.1 展开介绍相关理论模型,使用场景,基本组件、...

JackJiang2011
2018/11/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

实战项目-学成在线(一)

之前看的黑马程序员实战项目之一,打算以博客的形式写出来,也让自己重新温习一下。 1、项目背景 略(就是当前这东西很火,我们重点在开发,这些就略过) 2、功能模块 门户,学习中心,教学管...

lianbang_W
38分钟前
4
0
基于Vue的数字输入框组件开发

本文转载于:专业的前端网站➫基于Vue的数字输入框组件开发 1、概述 Vue组件开发的API:props、events和slots 2、组件代码 github地址:https://github.com/MengFangui/VueInputNumber 效果:...

前端老手
47分钟前
4
0
百度地图根据经纬度获取运动轨迹

<!DOCTYPE html><html><head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8" /> <meta name="viewport" content="initial-scale=1.0, user-scalable=n......

泉天下
48分钟前
5
0
学习记录(day04-axios增删改查、v-for循环、页面加载成功处理函数)

[TOC] 1.1 基本语法:插值表达式 <template> <div> {{username}} <br/> {{1+2+3}} <br/> {{'你的名字是:' + username}} <br/> {{'abc'.split('')}} </div><......

庭前云落
今天
5
0
CentOS Linux 7上将ISO映像文件写成可启动U盘

如今,电脑基本上都支持U盘启动,所以,可以将ISO文件写到U盘上,用来启动并安装操作系统。 我想将一个CentOS Linux 7的ISO映像文件写到U盘上,在CentOS Linux 7操作系统上,执行如下命令: ...

大别阿郎
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部