文档章节

zg手册 之 twisted 开发(1)-- twisted 框架介绍

 东昕
发布于 2014/06/21 23:19
字数 841
阅读 390
收藏 6
点赞 0
评论 0

异步非阻塞框架

twisted 是一个事件驱动的网络开发框架,使用 python 开发。

twisted 框架编写的服务器有几个基本的元素:

  1. 应用程序对象(application):管理应用程序资源的对象,一个应用程序可以管理多个service对象。

  2. 服务(service),服务对象启动监听的端口,

  3. 协议工厂(factory):当客户端连接到服务器时,用来创建协议对象。

  4. 协议(protocol):每个协议对象对应一个网络连接。协议类处理网络协议(如http,ftp,自定义协议等)


twisted 框架内部运行依赖的元素:

  1. reactor:异步事件的主要循环处理类,负责监控事件,调用注册的回调函数提供服务。(在linux上主要使用epoll/select来实现)

  2. defer: 异步回调序列,当序列被执行的时候,顺序执行注册的回调函数。


官方的一个例子

实现一个 echo server,创建文件 echoServ.py

#!/usr/bin/env python
# coding: utf-8

from twisted.internet.protocol import Protocol
from twisted.internet.protocol import Factory
from twisted.internet.endpoints import TCP4ServerEndpoint
from twisted.internet import reactor

class Echo(Protocol):
        '''协议类实现用户的服务协议,例如 http,ftp,ssh 等'''
        def __init__(self, factory):
                self.factory = factory

        def connectionMade(self):
                '''连接建立时被回调的方法'''
                self.factory.numProtocols = self.factory.numProtocols + 1
                self.transport.write("Welcome! There are currently %d open connections.\n" %
                                (self.factory.numProtocols,))

        def connectionLost(self, reason):
                '''连接关闭时被回调的方法'''
                self.factory.numProtocols = self.factory.numProtocols - 1

        def dataReceived(self, data):
                '''接收数据的函数,当有数据到达时被回调'''
                self.transport.write(data)


class EchoFactory(Factory):
        '''协议工厂类,当客户端建立连接的时候,创建协议对象,协议对象与客户端连接一一对应'''
        numProtocols = 0
        def buildProtocol(self, addr):
                return Echo(self)


if __name__ == '__main__':
        # 创建监听端口
        reactor.listenTCP(8007, EchoFactory())

        # 开始监听事件
        reactor.run()

运行服务程序

python echoServ.py

测试服务程序

telnet 127.0.0.1 8007


例子程序的说明

  1. 协议类继承自 twisted.internet.protocol.Protocol,需实现 dataReceived 等方法。在协议类中实现应用协议。

  2. 协议工厂继承自 twisted.internet.protocol.Factory,需实现 buildProtocol 方法。协议工厂负责实例化协议类,不应该保存于连接相关的状态信息。

  3. transport 就是连接对象,通过它进行网络写数据。


使用 daemon 的方式运行程序

使用守护进程的方式运行服务,需要提供一个 tac 配置文件(这就是一个 python 文件,只是扩展名不同),并且在这个文件中需要创建一个应用程序对象,对象名必须是 application。

创建一个 echo.tac 文件

#!/usr/bin/env python
# coding: utf-8

from twisted.application import service, internet
from echoServ import EchoFactory

# 创建应用程序对象
application = service.Application('Echo 服务程序')

# 创建 service 对象
myServices = internet.TCPServer(8007, EchoFactory())

# 设置 application 为 service 的父元素
myservices.setServiceParent(application)

用守护进程方式运行服务

twistd -y echo.tac

停止服务

kill -15 pid


总结

上面就是 twisted 网络框架编写服务的基本方法,在框架内部有丰富的协议工厂,协议,可是很方便的实现简单的 http,ftp,ssh 等服务器程序。

后面我会介绍一些常用的功能的实现原理,例如:如何记录日志,客户端 http 异步请求的处理,defer 运行原理等。


原文链接: http://www.hopez.org/blog/9/1403349568

© 著作权归作者所有

共有 人打赏支持
粉丝 10
博文 22
码字总数 16965
作品 0
浦东
架构师
zg手册 之 twisted 开发(2)-- Deferreds 组件

Deferreds 异步回调序列 Deferred 本质上是一个回调函数的集合,twisted 提供了对函数延迟调用的机制。 在 twisted 内部,使用 Deferred 对象管理回调序列。当异步请求结果返回时,使用 Defe...

东昕 ⋅ 2014/06/24 ⋅ 0

zg手册 之 scrapy 开发(5)-- downloader(下载器)开发

为什么需要开发下载器 定向抓取时,目标站点的数据不能单次请求获取,需要3,4次或者更多,请求之间有依赖关系,就是需要连续请求完成这个下载事物 前面讲过的 js 动态页面下载 ...... 注意事...

东昕 ⋅ 2014/04/02 ⋅ 1

【转】Python Twisted介绍

Python Twisted介绍 作者:Jessica McKellar 原文链接   Twisted是用Python实现的基于事件驱动的网络引擎框架。Twisted诞生于2000年初,在当时的网络游戏开发者看来,无论他们使用哪种语言...

罗兵 ⋅ 2016/06/27 ⋅ 0

zg手册 之 scrapy 开发(4)-- javascript 动态页面的抓取

javascript 动态页面 目前许多网站大量运用js脚本进行一些页面的处理,这些页面的抓取对爬虫是个挑战。 这类页面的抓取,我用到了下面的方法 分析页面(firebug/chrome调试工具 等),找到a...

东昕 ⋅ 2014/04/02 ⋅ 2

[Python] Twiested - 基于事件驱动的网络编程

介绍 twisted 是python下一个事件驱动的网络引擎库, 支持很多种的协议. 它包含了一个web服务, 多种IM客户端,服务端, 邮件服务协议. 由于规模庞大, twisted分成了几个sub-project. 一起或者分...

长平狐 ⋅ 2013/06/03 ⋅ 0

部署Twisted应用程序笔记

Twisted提供了一套扩平台、高扩展的基于服务器和客户端模式的应用程序框架。本文看重Twisted框架在应用程序部署上的特点。另外,Twisted是Python语言所写,提供了除顺序、并发模型之外的事件...

conjohn668 ⋅ 2013/08/12 ⋅ 0

[Python] Twiested - 基于事件驱动的网络编程

介绍 twisted 是python下一个事件驱动的网络引擎库, 支持很多种的协议. 它包含了一个web服务, 多种IM客户端,服务端, 邮件服务协议. 由于规模庞大, twisted分成了几个sub-project. 一起或者分...

长平狐 ⋅ 2013/06/03 ⋅ 0

Python网络工具包--Twisted Matrix

Twisted Matrix 是一种越来越受欢迎的纯 Python 框架,用来进行网络服务和应用程序的编程。虽然 Twisted Matrix 中有大量松散耦合的模块化组件,但该框架的中心概念还是非阻塞异步服务器这一...

匿名 ⋅ 2008/11/06 ⋅ 0

(转)Twisted :第一部分:初步认识Twisted

前言: 最近有人在Twisted邮件列表中提出诸如”为任务紧急的人提供一份Twisted介绍”的的需求。值得提前透露的是,这个序列并不会如他们所愿.尤其是介绍Twisted框架和基于Python 的异步编程而...

水果糖 ⋅ 2016/01/27 ⋅ 0

Scrapy 1.3.2 发布,web 爬虫框架

Scrapy 1.3.2 发布了。Scrapy 是一套基于基于Twisted的异步处理框架,纯python实现的爬虫框架,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页内容以及各种图片。 更新如...

两味真火 ⋅ 2017/02/14 ⋅ 3

没有更多内容

加载失败,请刷新页面

加载更多

下一页

说说javascript中的那些专业名词

DOM(Document Object Model) 文档对象模型 BOM(Browser Object Model) 浏览器对象模型 ECMA(European Computer Manufacturer's Association) 欧洲计算机制造商协会 W3C(World Wide Web Conso......

hang1989 ⋅ 9分钟前 ⋅ 0

Bootstrap Wizard 多步表单控件

废话 有一块需求是 有多步表单 点击下一步时触发验证一个范围内的表单,点击上一步或取消,清空表单并返回第一步,点击最后一步提交整个表单的 就找到了这个插件,本来自己写了一个原生的 fo...

无极之岚 ⋅ 25分钟前 ⋅ 0

如何利用Spring Cloud构建起自我修复型分布式系统

利用Netflix所打造的组件及各类大家熟知的工具,我们完全可以顺利应对由微服务以及分布式计算所带来的技术挑战。 在过去一年当中,微服务已经成为软件架构领域一个炙手可热的新名词,而且我们...

harries ⋅ 55分钟前 ⋅ 0

临近实习前的感想

再过两星期就要开始新的一段实习了,想想去年的这个时候也在实习,心中不免思绪万千,也一直想写对2017做个总结,但一直迟迟没有下笔。 2017年的春节,我就开始准备开学后找份实习。那时候就...

无精疯 ⋅ 今天 ⋅ 0

Spring AOP(面向切面编程)

Spring AOP概念: Spring AOP 可以劫持一个执行的方法,在方法执行之前或之后添加额外的功能。通常情况下,AOP把项目中需要在多处用到的功能,比如日志、安全和事物等集中到一个类中处理,而...

霍淇滨 ⋅ 今天 ⋅ 0

人工智能、机器学习、数据挖掘以及数据分析有什么联系?

人工智能是目前炙手可热的一个领域,所有的互联网公司以及各路大迦们纷纷表态人工智能将是下一个时代的革命性技术,可与互联网、移动互联网时代的变更相媲美;AlphaGo在围棋领域战胜人类最顶...

董黎明 ⋅ 今天 ⋅ 0

使用 vue-cli 搭建项目

vue-cli 是一个官方发布 vue.js 项目脚手架,使用 vue-cli 可以快速创建 vue 项目,GitHub地址是:https://github.com/vuejs/vue-cli 一、 安装 node.js 首先需要安装node环境,可以直接到中...

初学者的优化 ⋅ 今天 ⋅ 0

设计模式 之 享元模式

设计模式 之 享元模式 定义 使用共享技术来有效地支持大量细粒度对象的复用 关键点:防止类多次创建,造成内存溢出; 使用享元模式来将内部状态与外部状态进行分离,在循环创建对象的环境下,...

GMarshal ⋅ 今天 ⋅ 0

SpringBoot集成Druid的最简单的小示例

参考网页 https://blog.csdn.net/king_is_everyone/article/details/53098350 建立maven工程 Pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM......

karma123 ⋅ 今天 ⋅ 0

Java虚拟机基本结构的简单记忆

Java堆:一般是放置实例化的对象的地方,堆分新生代和老年代空间,不断未被回收的对象越老,被放入老年代空间。分配最大堆空间:-Xmx 分配初始堆空间:-Xms,分配新生代空间:-Xmn,新生代的大小一...

算法之名 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部