文档章节

python IO 多路复用 select poll epoll

mickelfeng
 mickelfeng
发布于 2017/05/22 17:48
字数 2813
阅读 56
收藏 0

select 

select 原理

select 是通过系统调用来监视着一个由多个文件描述符(file descriptor)组成的数组,当select()返回后,数组中就绪的文件描述符会被内核修改标记位(其实就是一个整数),使得进程可以获得这些文件描述符从而进行后续的读写操作。select饰通过遍历来监视整个数组的,而且每次遍历都是线性的。

select 优点

select目前几乎在所有的平台上支持,良好跨平台性。

select 缺点

  • 每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多的时候会很大
  • 单个进程能够监视的fd数量存在最大限制,在linux上默认为1024(可以通过修改宏定义或者重新编译内核的方式提升这个限制)
  • 并且由于select的fd是放在数组中,并且每次都要线性遍历整个数组,当fd很多的时候,开销也很大

python  select 

调用select的函数为r, w, e = select.select(rlist, wlist, xlist[, timeout]),前三个参数都分别是三个列表,数组中的对象均为waitable object:均是整数的文件描述符(file descriptor)或者一个拥有返回文件描述符方法fileno()的对象;
 

  • rlist: 等待读就绪的list
  • wlist: 等待写就绪的list
  • errlist: 等待“异常”的list

 

select方法用来监视文件描述符,如果文件描述符发生变化,则获取该描述符。

1、这三个list可以是一个空的list,但是接收3个空的list是依赖于系统的(在Linux上是可以接受的,但是在window上是不可以的)。

2、当 rlist 序列中的描述符发生可读时(accetp和read),则获取发生变化的描述符并添加到 r 序列中

3、当 wlist 序列中含有描述符时,则将该序列中所有的描述符添加到 w 序列中

4、当 errlist序列中的句柄发生错误时,则将该发生错误的句柄添加到 e序列中

5、当 超时时间 未设置,则select会一直阻塞,直到监听的描述符发生变化

   当 超时时间 = 1时,那么如果监听的句柄均无任何变化,则select会阻塞 1 秒,之后返回三个空列表,如果监听的描述符(fd)有变化,则直接执行。

6、在list中可以接受Ptython的的file对象(比如sys.stdin,或者会被open()os.open()返回的object),socket object将会返回socket.socket()。也可以自定义类,只要有一个合适的fileno()的方法(需要真实返回一个文件描述符,而不是一个随机的整数)。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import select, socket

response = b"hello world"

#创建一个server socket
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('localhost', 8080))
serversocket.listen(1)
serversocket.setblocking(0)

inputs = [serversocket, ]

while True:
    rlist, wlist, xlist = select.select(inputs, [], [])
    for sock in rlist:
        # server socket读就绪
        if sock == serversocket:
            con, addr = serversocket.accept()
            #将这个connection添加到读就绪中
            inputs.append(con)
        else:
            data = sock.recv(1024)
            if data:
                sock.send(response)
                #从读就绪的list中删除
                inputs.remove(sock)
                sock.close()

poll

poll的原理

poll本质上和select没有区别,只是没有了最大连接数(linux上默认1024个)的限制,原因是它基于链表存储的。

poll的缺点

poll除了没有了最大连接数的缺点,其他都和select一样

在Python中调用poll

  • select.poll(),返回一个poll的对象,支持注册和注销文件描述符。

  • poll.register(fd[, eventmask])注册一个文件描述符,注册后,可以通过poll()方法来检查是否有对应的I/O事件发生。fd可以是i 个整数,或者有返回整数的fileno()方法对象。如果File对象实现了fileno(),也可以当作参数使用。

  • eventmask是一个你想去检查的事件类型,它可以是常量POLLINPOLLPRI和 POLLOUT的组合。如果缺省,默认会去检查所有的3种事件类型。

事件常量 意义
POLLIN 有数据读取
POLLPRT 有数据紧急读取
POLLOUT 准备输出:输出不会阻塞
POLLERR 某些错误情况出现
POLLHUP 挂起
POLLNVAL 无效请求:描述无法打开
  • poll.modify(fd, eventmask) 修改一个已经存在的fd,和poll.register(fd, eventmask)有相同的作用。如果去尝试修改一个未经注册的fd,会引起一个errnoENOENTIOError
  • poll.unregister(fd)从poll对象中注销一个fd。尝试去注销一个未经注册的fd,会引起KeyError
  • poll.poll([timeout])去检测已经注册了的文件描述符。会返回一个可能为空的list,list中包含着(fd, event)这样的二元组。 fd是文件描述符, event是文件描述符对应的事件。如果返回的是一个空的list,则说明超时了且没有文件描述符有事件发生。timeout的单位是milliseconds,如果设置了timeout,系统将会等待对应的时间。如果timeout缺省或者是None,这个方法将会阻塞直到对应的poll对象有一个事件发生。
#!/usr/bin/env python
# -*- coding: utf-8 -*-

import select, socket

response = b"hello world"

serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('192.168.199.197', 8080))
serversocket.listen(1)
serversocket.setblocking(0)

#
poll = select.poll()
poll.register(serversocket.fileno(), select.POLLIN)

connections = {}
while True:
    for fd, event in poll.poll():
        if event == select.POLLIN:
            if fd == serversocket.fileno():
                con, addr = serversocket.accept()
                poll.register(con.fileno(), select.POLLIN)
                connections[con.fileno()] = con
            else:
                con = connections[fd]
                data = con.recv(1024)
                if data:
                    poll.modify(con.fileno(), select.POLLOUT)
        elif event == select.POLLOUT:
            con = connections[fd]
            con.send(response)
            poll.unregister(con.fileno())
            con.close()

epoll

epoll的原理及改进

在linux2.6(准确来说是2.5.44)由内核直接支持的方法。epoll解决了select和poll的缺点。

  • 对于第一个缺点,epoll的解决方法是每次注册新的事件到epoll中,会把所有的fd拷贝进内核,而不是在等待的时候重复拷贝,保证了每个fd在整个过程中只会拷贝1次。
  • 对于第二个缺点,epoll没有这个限制,它所支持的fd上限是最大可以打开文件的数目,具体数目可以cat /proc/sys/fs/file-max查看,一般来说这个数目和系统内存关系比较大。
  • 对于第三个缺点,epoll的解决方法不像select和poll每次对所有fd进行遍历轮询所有fd集合,而是在注册新的事件时,为每个fd指定一个回调函数,当设备就绪的时候,调用这个回调函数,这个回调函数就会把就绪的fd加入一个就绪表中。(所以epoll实际只需要遍历就绪表)。

epoll同时支持水平触发和边缘触发:

  • 水平触发(level-triggered):只要满足条件,就触发一个事件(只要有数据没有被获取,内核就不断通知你)。e.g:在水平触发模式下,重复调用epoll.poll()会重复通知关注的event,直到与该event有关的所有数据都已被处理。(select, poll是水平触发, epoll默认水平触发)
  • 边缘触发(edge-triggered):每当状态变化时,触发一个事件。e.g:在边沿触发模式中,epoll.poll()在读或者写event在socket上面发生后,将只会返回一次event。调用epoll.poll()的程序必须处理所有和这个event相关的数据,随后的epoll.poll()调用不会再有这个event的通知。

在Python中调用epoll

  • select.epoll([sizehint=-1])返回一个epoll对象。

  • eventmask

事件常量 意义
EPOLLIN 读就绪
EPOLLOUT 写就绪
EPOLLPRI 有数据紧急读取
EPOLLERR assoc. fd有错误情况发生
EPOLLHUP assoc. fd发生挂起
EPOLLRT 设置边缘触发(ET)(默认的是水平触发)
EPOLLONESHOT 设置为 one-short 行为,一个事件(event)被拉出后,对应的fd在内部被禁用
EPOLLRDNORM 和 EPOLLIN 相等
EPOLLRDBAND 优先读取的数据带(data band)
EPOLLWRNORM 和 EPOLLOUT 相等
EPOLLWRBAND 优先写的数据带(data band)
EPOLLMSG 忽视
  • epoll.close()关闭epoll对象的文件描述符。
  • epoll.fileno返回control fd的文件描述符number。
  • epoll.fromfd(fd)用给予的fd来创建一个epoll对象。
  • epoll.register(fd[, eventmask])在epoll对象中注册一个文件描述符。(如果文件描述符已经存在,将会引起一个IOError
  • epoll.modify(fd, eventmask)修改一个已经注册的文件描述符。
  • epoll.unregister(fd)注销一个文件描述符。
  • epoll.poll(timeout=-1[, maxevnets=-1])等待事件,timeout(float)的单位是秒(second)。

 

import socket, select

EOL1 = b'\n\n'
EOL2 = b'\n\r\n'
response  = b'HTTP/1.0 200 OK\r\nDate: Mon, 1 Jan 1996 01:01:01 GMT\r\n'
response += b'Content-Type: text/plain\r\nContent-Length: 13\r\n\r\n'
response += b'Hello, world!'

serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('0.0.0.0', 8080))
serversocket.listen(1)
serversocket.setblocking(0)

epoll = select.epoll()
epoll.register(serversocket.fileno(), select.EPOLLIN)

try:
   connections = {}; requests = {}; responses = {}
   while True:
      events = epoll.poll(1)
      for fileno, event in events:
         if fileno == serversocket.fileno():
            connection, address = serversocket.accept()
            connection.setblocking(0)
            epoll.register(connection.fileno(), select.EPOLLIN)
            connections[connection.fileno()] = connection
            requests[connection.fileno()] = b''
            responses[connection.fileno()] = response
         elif event & select.EPOLLIN:
            requests[fileno] += connections[fileno].recv(1024)
            if EOL1 in requests[fileno] or EOL2 in requests[fileno]:
               epoll.modify(fileno, select.EPOLLOUT)
               print('-'*40 + '\n' + requests[fileno].decode()[:-2])
         elif event & select.EPOLLOUT:
            byteswritten = connections[fileno].send(responses[fileno])
            responses[fileno] = responses[fileno][byteswritten:]
            if len(responses[fileno]) == 0:
               epoll.modify(fileno, 0)
               connections[fileno].shutdown(socket.SHUT_RDWR)
         elif event & select.EPOLLHUP:
            epoll.unregister(fileno)
            connections[fileno].close()
            del connections[fileno]
finally:
   epoll.unregister(serversocket.fileno())
   epoll.close()
   serversocket.close()

[Python网络编程]使用select,poll

 

平时我们看到的非阻塞socket(select,poll,epoll)多用在服务器端,相比于客户端,我们很容易淹没在细节之中。下面是客户端使用select,poll的代码事例。

我们使用简单的同步socket获取http://192.168.9.178/cs.PHP?a=php的内容,

# -*- coding: utf-8 -*-  

import socket  
import select  
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)  
host = '192.168.9.178'  
s.connect((host,80))  
packet = """\ 
GET /cs.php?a=php HTTP/1.0 
Host: %s 
 
""" % host  
contentLength=len(packet)  
  
#sync  
s.send(packet)  
print packet  
d=[]  
while 1:  
    b=s.recv(100)  
    if not b:  
        break  
    d.append(b)  
  
print ''.join(d)  
print 'done'  

下面使用非阻塞socket发送同样请求,首先使用select,代码有意并没有一次发送或读取很多字节,这样通过打印我们就可以看到异步请求的过程。

# -*- coding: utf-8 -*-  
  
import socket  
import select  
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)  
host = '192.168.9.178'  
s.connect((host,80))  
packet = """\ 
GET /cs.php?a=php HTTP/1.0 
Host: %s 

""" % host  
contentLength=len(packet)  
  
#async  
s.setblocking(0)  
start=0  
d=[]  
while 1:  
    r,w,e=select.select([s],[s],[s],10)  
    if e:  
        print 'errr'  
        break  
    if s in w:  
        if start < contentLength:  
            start += s.send(packet[start:start+20])  
    if s in r:  
        b=s.recv(20)  
        if not b:  
            break  
        d.append(b)  
  
print ''.join(d)  
print 'done'  

select可直接处理类socket对象,只要具有fileno方法即可。

下面是用poll实现相同的功能,不管是select还是poll都要关注结束条件。由于poll比select多了for循环,所以通过标志位判断是否结束。

# -*- coding: utf-8 -*-  
  
import socket  
import select  
s=socket.socket(socket.AF_INET,socket.SOCK_STREAM)  
host = '192.168.9.178'  
s.connect((host,80))  
packet = """\ 
GET /cs.php?a=php HTTP/1.0 
Host: %s 

""" % host  
contentLength=len(packet)  
  
#sync  
s.send(packet)  
print packet  
d=[]  
while 1:  
    b=s.recv(100)  
    if not b:  
        break  
    d.append(b)  
  
print ''.join(d)  
print 'done'  
  
#async poll  
s.setblocking(0)  
READ_ONLY = select.POLLIN | select.POLLPRI | select.POLLHUP | select.POLLERR  
READ_WRITE = READ_ONLY | select.POLLOUT  
  
poller=select.poll()  
poller.register(s,READ_WRITE)  
start=0  
d=[]  
sfd = s.fileno()  
fail=full=0  
while 1:  
    events = poller.poll(1000) #单位毫秒  
    for fd,flag in events: #返回的是(fileno,falg)的列表  
        if fd is sfd:  
            if flag & select.POLLOUT:  
                if start < contentLength: #这边最好判断一下内容是否已发送完,因为发送完了fd还是可写的  
                    start += s.send(packet[start:start+20])  
            if flag & (select.POLLIN | select.POLLPRI): #注意这边不要elif,因为fd经常是可读可写  
                b=s.recv(10)  
                if not b: #有读事件,但为EOF,说明内容已结束  
                    full=1  
                    break  
                d.append(b)  
            if flag & select.POLLHUP:  
                print 'POLLHUP'  
                fail = 1  
             
    if full or fail:  
        break  
  
print ''.join(d)  
print 'done'  

 

本文转载自:http://www.cnblogs.com/9527chu/p/5661932.html

mickelfeng

mickelfeng

粉丝 234
博文 2768
码字总数 597345
作品 0
成都
高级程序员
私信 提问
IO多路复用原理剖析

(最近笔试遇到笔试题:select,poll,epoll都是IO多路复用的机制)。 I/O多路复用就通过一种机制,可以监视多个描述符,一旦某个描述符就绪(一般是读就绪或者写就绪),能够通知程序进行相应...

Panda_Jerry
2017/11/01
0
0
【select模块】select IO多路复用和select实现FTP

select是全平台通用的IO多路复用模块。最大连接数:1024。 poll和epoll没有最大连接数限制,但只能用在linux平台。 selectors是再封装模块,推荐使用。下篇会讨论。 select.(rlist, wlist, ...

等你的破船
2018/07/26
0
0
一文让你读懂懂阻塞、非阻塞、同步、异步IO

介绍 在谈及网络IO的时候总避不开阻塞、非阻塞、同步、异步、IO多路复用、select、poll、epoll等这几个词语。在面试的时候也会被经常问到这几个的区别。本文就来讲一下这几个词语的含义、区别...

lemonwater
2018/05/16
0
0
IO多路复用(IO Multiplexing)

什么是IO多路复用 为什么要有IO多路复用 作者总结 遵循学习新知识的三部曲:是什么?为什么?怎么用? 作者前言:IO多路复用本质上是网络通信过程中的一个技术名词。 什么是IO多路复用 一个用...

qq_32690999
2018/05/01
0
0
聊聊IO多路复用之select、poll、epoll详解

聊聊远程通信 Java远程通讯技术及原理分析 聊聊Socket、TCP/IP、HTTP、FTP及网络编程 RMI原理及实现 RPC原理及实现 轻量级分布式 RPC 框架 使用 RMI + ZooKeeper 实现远程调用框架 深入浅出S...

陶邦仁
2016/04/21
1K
0

没有更多内容

加载失败,请刷新页面

加载更多

计算机网络

计算机网络体系结构 OSI 其中表示层和会话层用途如下: 表示层 :数据压缩、加密以及数据描述,这使得应用程序不必关心在各台主机中数据内部格式不同的问题。 会话层 :建立及管理会话。 五层...

一只小青蛙
今天
2
0
0.01-Win10安装linux子系统

一、安装Debian子系统 -1、控制面板设置: -1.1、打开“控制面板” —— “程序” —— “启用或关闭Windows功能” —— 勾选 “适用于Linux的Windows子系统” -2、设置: -2.1、打开“设置”...

静以修身2025
昨天
2
0
init 0-6 (启动级别:init 0,1,2,3,4,5,6)

启动级别: init 0,1,2,3,4,5,6 这是个很久的知识点了,只是自己一直都迷迷糊糊的,今天在翻出来好好理解下。。 0: 停机 1:单用户形式,只root进行维护 2:多用户,不能使用net file system...

圣洁之子
昨天
2
0
Android Camera HAL浅析

1、Camera成像原理介绍 Camera工作流程图 Camera的成像原理可以简单概括如下: 景物(SCENE)通过镜头(LENS)生成的光学图像投射到图像传感器(Sensor)表面上,然后转为电信号,经过A/D(模数转...

天王盖地虎626
昨天
2
0
聊聊Elasticsearch的ProcessProbe

序 本文主要研究一下Elasticsearch的ProcessProbe ProcessProbe elasticsearch-7.0.1/server/src/main/java/org/elasticsearch/monitor/process/ProcessProbe.java public class ProcessProb......

go4it
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部