文档章节

zg手册 之 twisted 开发(1)-- twisted 框架介绍

 东昕
发布于 2014/06/21 23:19
字数 841
阅读 399
收藏 6

异步非阻塞框架

twisted 是一个事件驱动的网络开发框架,使用 python 开发。

twisted 框架编写的服务器有几个基本的元素:

  1. 应用程序对象(application):管理应用程序资源的对象,一个应用程序可以管理多个service对象。

  2. 服务(service),服务对象启动监听的端口,

  3. 协议工厂(factory):当客户端连接到服务器时,用来创建协议对象。

  4. 协议(protocol):每个协议对象对应一个网络连接。协议类处理网络协议(如http,ftp,自定义协议等)


twisted 框架内部运行依赖的元素:

  1. reactor:异步事件的主要循环处理类,负责监控事件,调用注册的回调函数提供服务。(在linux上主要使用epoll/select来实现)

  2. defer: 异步回调序列,当序列被执行的时候,顺序执行注册的回调函数。


官方的一个例子

实现一个 echo server,创建文件 echoServ.py

#!/usr/bin/env python
# coding: utf-8

from twisted.internet.protocol import Protocol
from twisted.internet.protocol import Factory
from twisted.internet.endpoints import TCP4ServerEndpoint
from twisted.internet import reactor

class Echo(Protocol):
        '''协议类实现用户的服务协议,例如 http,ftp,ssh 等'''
        def __init__(self, factory):
                self.factory = factory

        def connectionMade(self):
                '''连接建立时被回调的方法'''
                self.factory.numProtocols = self.factory.numProtocols + 1
                self.transport.write("Welcome! There are currently %d open connections.\n" %
                                (self.factory.numProtocols,))

        def connectionLost(self, reason):
                '''连接关闭时被回调的方法'''
                self.factory.numProtocols = self.factory.numProtocols - 1

        def dataReceived(self, data):
                '''接收数据的函数,当有数据到达时被回调'''
                self.transport.write(data)


class EchoFactory(Factory):
        '''协议工厂类,当客户端建立连接的时候,创建协议对象,协议对象与客户端连接一一对应'''
        numProtocols = 0
        def buildProtocol(self, addr):
                return Echo(self)


if __name__ == '__main__':
        # 创建监听端口
        reactor.listenTCP(8007, EchoFactory())

        # 开始监听事件
        reactor.run()

运行服务程序

python echoServ.py

测试服务程序

telnet 127.0.0.1 8007


例子程序的说明

  1. 协议类继承自 twisted.internet.protocol.Protocol,需实现 dataReceived 等方法。在协议类中实现应用协议。

  2. 协议工厂继承自 twisted.internet.protocol.Factory,需实现 buildProtocol 方法。协议工厂负责实例化协议类,不应该保存于连接相关的状态信息。

  3. transport 就是连接对象,通过它进行网络写数据。


使用 daemon 的方式运行程序

使用守护进程的方式运行服务,需要提供一个 tac 配置文件(这就是一个 python 文件,只是扩展名不同),并且在这个文件中需要创建一个应用程序对象,对象名必须是 application。

创建一个 echo.tac 文件

#!/usr/bin/env python
# coding: utf-8

from twisted.application import service, internet
from echoServ import EchoFactory

# 创建应用程序对象
application = service.Application('Echo 服务程序')

# 创建 service 对象
myServices = internet.TCPServer(8007, EchoFactory())

# 设置 application 为 service 的父元素
myservices.setServiceParent(application)

用守护进程方式运行服务

twistd -y echo.tac

停止服务

kill -15 pid


总结

上面就是 twisted 网络框架编写服务的基本方法,在框架内部有丰富的协议工厂,协议,可是很方便的实现简单的 http,ftp,ssh 等服务器程序。

后面我会介绍一些常用的功能的实现原理,例如:如何记录日志,客户端 http 异步请求的处理,defer 运行原理等。


原文链接: http://www.hopez.org/blog/9/1403349568

© 著作权归作者所有

共有 人打赏支持
粉丝 11
博文 22
码字总数 16965
作品 0
浦东
架构师
zg手册 之 scrapy 开发(5)-- downloader(下载器)开发

为什么需要开发下载器 定向抓取时,目标站点的数据不能单次请求获取,需要3,4次或者更多,请求之间有依赖关系,就是需要连续请求完成这个下载事物 前面讲过的 js 动态页面下载 ...... 注意事...

东昕
2014/04/02
0
1
zg手册 之 twisted 开发(2)-- Deferreds 组件

Deferreds 异步回调序列 Deferred 本质上是一个回调函数的集合,twisted 提供了对函数延迟调用的机制。 在 twisted 内部,使用 Deferred 对象管理回调序列。当异步请求结果返回时,使用 Defe...

东昕
2014/06/24
0
0
【转】Python Twisted介绍

Python Twisted介绍 作者:Jessica McKellar 原文链接   Twisted是用Python实现的基于事件驱动的网络引擎框架。Twisted诞生于2000年初,在当时的网络游戏开发者看来,无论他们使用哪种语言...

罗兵
2016/06/27
0
0
[Python] Twiested - 基于事件驱动的网络编程

介绍 twisted 是python下一个事件驱动的网络引擎库, 支持很多种的协议. 它包含了一个web服务, 多种IM客户端,服务端, 邮件服务协议. 由于规模庞大, twisted分成了几个sub-project. 一起或者分...

长平狐
2013/06/03
117
0
zg手册 之 scrapy 开发(4)-- javascript 动态页面的抓取

javascript 动态页面 目前许多网站大量运用js脚本进行一些页面的处理,这些页面的抓取对爬虫是个挑战。 这类页面的抓取,我用到了下面的方法 分析页面(firebug/chrome调试工具 等),找到a...

东昕
2014/04/02
0
2

没有更多内容

加载失败,请刷新页面

加载更多

mysql 数据类型及占用字节数

数字类型 TINYINT                           1 字节 SMALLINT                          2 个字节 MEDIUMINT                         3 个字节...

会游泳的鱼_
今天
3
0
高性能mysql:创建高性能的索引

性能优化简介 MySQL性能定义为完成某件任务所需要的时间量度,换句话说,性能即响应时间,这是一个非常重要的原则。我们通过任务和时间而不是资源来测量性能。数据库服务器的目的是执行SQL语...

背后的辛酸
今天
6
0
HTTP get、post 中请求json与map传参格式

import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import java.nio.charset.Charset;import java.util.ArrayList;import java.util.List;im......

寒风中的独狼
今天
3
0
IDEA中tomcat启动慢 耗时10分钟

用idea中的tomcat以debug模式启动,会非常的慢,而正常启动没啥问题;原因是debug模式中View Breakpoints断点代码,断点的是jar包,而现在启动由于jar包发生变化,导致启动时一直处于等待中。...

GoodMarver
今天
5
0
Linux学习-10月18(awk)

9.6/9.7 awk 一、awk简介   1. awk是一种编程语言,用于对文本和数据进行处理的   2. 具有强大的文本格式化能力   3. 利用命令awk,可以将一些文本整理成为我们想要的样子   4. 命令awk...

wxy丶
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部