文档章节

(转) Twisted :第七部分 小插曲,Deferred

水果糖
 水果糖
发布于 2016/01/27 13:21
字数 3001
阅读 14
收藏 0
点赞 1
评论 0

回调函数的后序发展

在第六部分我们认识这样一个情况:

    回调是Twisted异步编程中的基础。除了与reactor交互外,回调可以安插在任何我们写的Twisted结构内。因此在使用Twisted或其它基于reactor的异步编程体系时,都意味需要将我们的代码组织成一系列由reactor循环可以激活的回调函数链。

即使一个简单的get_poetry函数都需要回调,两个回调函数中一个用于处理正常结果而另一个用于处理错误。作为一个Twisted程序员,我们必须充分利用这一点。应该花点时间思考一下如何更好地使用回调及使用过程中会遇到什么困难。

分析下3.1版本中的get_poetry函数:

...
def got_poem(poem):
    print poem
    reactor.stop()
def poem_failed(err):
    print >>sys.stderr, 'poem download failed'
    print >>sys.stderr, 'I am terribly sorry'
    print >>sys.stderr, 'try again later?'
    reactor.stop()
get_poetry(host, port, got_poem, poem_failed)
 
reactor.run()

我们想法很简单:

1.如果完成诗歌下载,那么就打印它

2.如果没有下载到诗歌,那就打印出错误信息

3.上面任何一种情况出现,都要停止程序继续运行

同步程序中处理上面的情况会采用如下方式:

...
try:
    poem = get_poetry(host, port) # the synchronous version of get_poetry
except Exception, err:
    print >>sys.stderr, 'poem download failed'
    print >>sys.stderr, 'I am terribly sorry'
    print >>sys.stderr, 'try again later?'
    sys.exit()
else:
    print poem
    sys.exit()


callback类似else处理路径,而errback类似except处理路径。这意味着激活errback回调函数类似于同步程序中抛出一个异常,而激活一个callback意味着同步程序中的正常执行路径。

两个版本有什么不同之外吗?可以明确的是,在同步版本中,Python解释器可以确保只要get_poetry抛出何种类型的异步都会执行except块。即只要我们相信Python解释器能够正确的解释执行Python程序,那么就可以相信异常处理块会在恰当的时间点被执行。

不异步版本相反的是:poem_failed错误回调是由我们自己的代码激活并调用的,即PeotryClientFactoryclientConnectFailed函数。是我们自己而不是Python来确保当出错时错误处理代码能够执行。因此我们必须保证通过调用携带Failure对象的errback来处理任何可能的错误。

否则,我们的程序就会因为等待一个永远不会出现的回调而止步不前。

这里显示出了同步与异步版本的又一个不同之处。如果我们在同步版本中没有使用try/except捕获异步,那么Python解释器会为我们捕获然后关掉我们的程序并打印出错误信息。但是如果我们忘记抛出我们的异步异常(在本程序中是在PoetryClientFactory调用errback),我们的程序会一直运行下去,还开心地以为什么事都没有呢。

显而易见,在异步程序中处理错误是相当重要的,甚至有些严峻。也可以说在异步程序中处理错误信息比处理正常的信息要重要的多,这是因为错误会以多种方式出现,而正确的结果出现的方式是唯一的。当使用Twisted编程时忘记处理异常是一个常犯的错误。

关于上面同步程序代码的另一个默认实事是:elseexcept块两者只能是运行其中一个(假设我们的get_poetry没有在一个无限循环中运行)。Python解释器不会突然决定两者都运行或突发奇想来运行else27次。对于通过Python来实现那样的动作是不可能的。

但在异步程序中,我们要负责callbackerrback的运行。因此,我们可能就会犯这样的错误:同时调用了callbackerrback或激活callback27次。这对于使用get_poetry的用户来说是不幸的。虽然在描述文档中没有明确地说明,像try/except块中的elseexcept一样,对于每次调用get_poetrycallbackerrback只能运行其中一个,不管是我们是否成功得下载完诗歌。

设想一下,我们在调试某个程序时,我们提出了三次诗歌下载请求,但是得到有7callback被激活和2errback被激活。可能这时,你会下来检查一下,什么时候get_poetry激活了两次callback并且还抛出一个错误出来。

从另一个视角来看,两个版本都有代码重复。异步的版本中含有两次reactor.stop,同步版本中含有两次sys.exit调用。我们可以重构同步版本如下:

...
try:
    poem = get_poetry(host, port) # the synchronous version of get_poetry
except Exception, err:
    print >>sys.stderr, 'poem download failed'
    print >>sys.stderr, 'I am terribly sorry'
    print >>sys.stderr, 'try again later?'
else:
    print poem
 
sys.exit()


我们可以以同样的方式来重构异步版本吗?说实话,确实不太可能,因为callbackerrback是两个不同的函数。难道要我们回到使用单一回调来实现重构吗?

好下面是我们在讨论使用回调编程时的一些观点:

1.激活errback是非常重要的。由于errback的功能与except块相同,因此用户需要确保它们的存在。他们并不可选项,而是必选项。

2.不在错误的时间点激活回调与在正确的时间点激活回调同等重要。典型的用法是,callbackerrback是互斥的即只能运行其中一个。

3.使用回调函数的代码重构起来有些困难。

来下面的部分,我们还会讨论回调,但是已经可以明白为什么Twisted引入了deferred抽象机制来管理回调了。


Deferred

由于架设在异步程序中大量被使用,并且我们也看到了,正确的使用这一机制需要一些技巧。因此,Twisted开发者设计了一种抽象机制-Deferred-以让程序员在使用回调时更简便。

一个Deferred有一对回调链,一个是为针对正确结果,另一个针对错误结果。新创建的Deferred的这两条链是空的。我们可以向两条链里分别添加callbackerrback。其后,就可以用正确的结果或异常来激活Deferred。激活Deferred意味着以我们添加的顺序激活callbackerrback。图12展示了一个拥有callback/errback链的Deferred对象:

第七部分:小插曲,Deferred

12: Deferred


由于defered中不使用reactor,所以我们可以不用在事件循环中使用它。也许你在Deferred中发现一个seTimeout的函数中使用了reactor。放心,它将来将来的版本中删掉。

下面是我们第一人使用deferred的例子twisted-deferred/defer-1.py:

from twisted.internet.defer import Deferred
 
def got_poem(res):
    print 'Your poem is served:'
    print res
 
def poem_failed(err):
    print 'No poetry for you.'
 
d = Deferred()
 
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
 
# fire the chain with a normal result
d.callback('This poem is short.')
 
print "Finished"


代码开始创建了一个新deferred,然后使用addCallbacks添加了callback/errback对,然后使用callback函数激活了其正常结果处理回调链。当然了,由于只含有一个回调函数还算不上链,但不要紧,运行它:

Your poem is served:
This poem is short.
Finished

有几个问题需要注意:

1.正如3.1版本中我们使用的callback/errback对,添加到deferred中的回调函数只携带一个参数,正确的结果或出错信息。其实,deferred支持回调函数可以有多个参数,但至少得有一个参数并且第一个只能是正确的结果或错误信息。

2.我们向deferred添加的是回调函数对

3.callbac函数携带仅有的一个参数即正确的结果来激活deferred

4.从打印结果顺序可以看出,激活的deferred立即调用了回调。没有任何异步的痕迹。这是因为没有reactor参与导致的。

好了,让我们来试试另外一种情况,twisted-deferred/defer-2.py激活了错误处理回调:

from twisted.internet.defer import Deferred
from twisted.python.failure import Failure
 
def got_poem(res):
    print 'Your poem is served:'
    print res
 
def poem_failed(err):
    print 'No poetry for you.'
 
d = Deferred()
 
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
 
# fire the chain with an error result
d.errback(Failure(Exception('I have failed.')))
 
print "Finished"

运行它打印出的结果为:

No poetry for you.
Finished

激活errback链就调用errback函数而不是callback,并且传进的参数也是错误信息。正如上面那样,errbackdeferred激活就被调用。

在前面的例子中,我们将一个Failure对象传给了errbackdeferred会将一个Exception对象转换成Failure,因此我们可以这样写:

from twisted.internet.defer import Deferred
 
def got_poem(res):
    print 'Your poem is served:'
    print res
 
def poem_failed(err):
    print err.__class__
    print err
    print 'No poetry for you.'
 
d = Deferred()
 
# add a callback/errback pair to the chain
d.addCallbacks(got_poem, poem_failed)
 
# fire the chain with an error result
d.errback(Exception('I have failed.'))


运行结果如下:

twisted.python.failure.Failure [Failure instance: Traceback (failure with no frames): : I have failed. ]
No poetry for you.

这意味着在使用deferred时,我们可以正常地使用Exception。其中deferred会为我们完成向Failure的转换。

下面我们来运行下面的代码看看会出现什么结果:

from twisted.internet.defer import Deferred
def out(s): print s
d = Deferred()
d.addCallbacks(out, out)
d.callback('First result')
d.callback('Second result')
print 'Finished'


输出结果:

First result Traceback (most recent call last): ... twisted.internet.defer.AlreadyCalledError

很意外吧,也就是说deferred不允许别人激活它两次。这也就解决了上面出现的那个问题:一个激活会导致多个回调同时出现。而deferred设计机制控制住了这种可能,如果你非要在一个deferred上要激活多个回调,那么正如上面那样,会报异常错。

deferred能帮助我们重构异步代码吗?考虑下面这个例子:

import sys
 
from twisted.internet.defer import Deferred
 
def got_poem(poem):
    print poem
    from twisted.internet import reactor
    reactor.stop()
 
def poem_failed(err):
    print >>sys.stderr, 'poem download failed'
    print >>sys.stderr, 'I am terribly sorry'
    print >>sys.stderr, 'try again later?'
    from twisted.internet import reactor
    reactor.stop()
 
d = Deferred()
 
d.addCallbacks(got_poem, poem_failed)
 
from twisted.internet import reactor
 
reactor.callWhenRunning(d.callback, 'Another short poem.')
 
reactor.run()

这基本上与我们上面的代码相同,唯一不同的是加进了reactor。我们在启动reactor后调用了callWhenRunning函数来激活deferred。我们利用了callWhenRunning函数可以接收一个额外的参数给回调函数。多数TwistedAPI都以这样的方式注册回调函数,包括向deferred添加callbackAPI。下面我们给deferred回调链添加第二个回调:

import sys
 
from twisted.internet.defer import Deferred
 
def got_poem(poem):
    print poem
 
def poem_failed(err):
    print >>sys.stderr, 'poem download failed'
    print >>sys.stderr, 'I am terribly sorry'
    print >>sys.stderr, 'try again later?'
 
def poem_done(_):
    from twisted.internet import reactor
    reactor.stop()
 
d = Deferred()
 
d.addCallbacks(got_poem, poem_failed)
d.addBoth(poem_done)
 
from twisted.internet import reactor
 
reactor.callWhenRunning(d.callback, 'Another short poem.')
 
reactor.run()


addBoth函数向callbackerrback链中添加了相同的回调函数。在这种方式下,deferred有可能也会执行errback链中的回调。这将在下面的部分讨论,只要记住后面我们还会深入讨论deferred


总结:

在这部分我们分析了回调编程与其中潜藏的问题。我们也认识到了deferred是如何帮我们解决这些问题的:

1.我们不能忽视errback,在任何异步编程的API中都需要它。Deferred支持errbacks

2.激活回调多次可能会导致很严重的问题。Deferred只能被激活一次,这就类似于同步编程中的try/except的处理方法。

3.含有回调的程序在重构时相当困难。有了deferred,我们就通过修改回调链来重构程序。

关于deferred的故事还没有结束,后面还有大量的细节来讲。但对于使用它来重构我们的客户端已经够用的了,在第八部分将讲述这部分内容。


本文转载自:http://blog.sina.com.cn/s/blog_704b6af70100py9n.html

共有 人打赏支持
水果糖
粉丝 15
博文 125
码字总数 51701
作品 0
深圳
程序员
(转) Twisted : 第九部分 第二个小插曲,Deferred

更多关于回调的知识 稍微停下来再思考一下回调的机制。尽管对于以Twisted方式使用Deferred写一个简单的异步程序已经非常了解了,但Deferred提供更多的是只有在比较复杂环境下才会用到的功能。...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted : 第八部分 使用Deferred的诗歌下载客户端

客户端4.0 我们已经对deferreds有些理解了,现在我们可以使用它重写我们的客户端。你可以在twisted-client-4/get-poetry.py中看到它的实现。 这里的getpoetry已经再也不需要callback与errba...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted : 第十四部分 Deferred用于同步环境

介绍 这部分我们要介绍Deferred的另外一个功能。便于讨论,我们设定如下情景:假设由于众多的内部网请求一个外部诗歌下载服务器,但由于这个外部下载服务器性能太差或请求负荷太重。因此,我...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted :第十九部分 改变之前的想法

简介 Twisted是一个正在进展的项目,它的开发者会定期添加新的特性并且扩展旧的特性. 随着Twisted 10.1.0发布,开发者向 类添加了一个新的特性—— ——这正是我们今天要研究的. 异步编程将请求...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted :第十八部分 Deferreds 全貌

简介 在上一个部分,我们学习了使用生成器构造顺序异步回调的新方法.这样,包括 ,我们现在有两种将异步操作链接在一起的方法. 有时,然而,我们需要"并行"的运行一组异步操作.由于Twisted是单线程...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted : 第十三部分 使用Deferred新功能实现新客户端

介绍 回忆下第10部分中的客户端5.1版。客户端使用一个Deferred来管理所有的回调链,其中包括一个格式转换引擎的调用。在那个版本中,这个引擎的实现是同步的。(即等待其执行再切到其它函数或...

水果糖 ⋅ 2016/01/27 ⋅ 0

(转) Twisted :第十部分 增强defer功能的客户端

现在我们将要向诗歌下载客户端添加一些新的处理逻辑,包括在第九部分提到要添加的功能。不过,首先我要说明一点:我并不知道如何实现Byronification引擎。那超出了我的编程能力范围。取而代之...

水果糖 ⋅ 2016/01/27 ⋅ 0

[Python] Twiested - 基于事件驱动的网络编程

介绍 twisted 是python下一个事件驱动的网络引擎库, 支持很多种的协议. 它包含了一个web服务, 多种IM客户端,服务端, 邮件服务协议. 由于规模庞大, twisted分成了几个sub-project. 一起或者分...

长平狐 ⋅ 2013/06/03 ⋅ 0

[Python] Twiested - 基于事件驱动的网络编程

介绍 twisted 是python下一个事件驱动的网络引擎库, 支持很多种的协议. 它包含了一个web服务, 多种IM客户端,服务端, 邮件服务协议. 由于规模庞大, twisted分成了几个sub-project. 一起或者分...

长平狐 ⋅ 2013/06/03 ⋅ 0

twisted deferToThread使同步函数实现非阻塞

twisted的defer.Deferred (from twisted.internet import defer)可以返回一个deferred对象. 注:deferToThread使用线程实现的,不推荐过多使用 把同步函数变为异步(返回一个Deferred) twisted...

flyking ⋅ 2013/09/16 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从零开始搭建Risc-v Rocket环境---(1)

为了搭建Rocke环境,我买了一个2T的移动硬盘,安装的ubuntu-16.04 LTS版。没有java8,gcc是5.4.0 joe@joe-Inspiron-7460:~$ java -version程序 'java' 已包含在下列软件包中: * default-...

whoisliang ⋅ 7分钟前 ⋅ 0

大数据学习路线(自己制定的,从零开始学习大数据)

大数据已经火了很久了,一直想了解它学习它结果没时间,过年后终于有时间了,了解了一些资料,结合我自己的情况,初步整理了一个学习路线,有问题的希望大神指点。 学习路线 Linux(shell,高并...

董黎明 ⋅ 13分钟前 ⋅ 0

systemd编写服务

一、开机启动 对于那些支持 Systemd 的软件,安装的时候,会自动在/usr/lib/systemd/system目录添加一个配置文件。 如果你想让该软件开机启动,就执行下面的命令(以httpd.service为例)。 ...

勇敢的飞石 ⋅ 15分钟前 ⋅ 0

mysql 基本sql

CREATE TABLE `BBB_build_info` ( `community_id` varchar(50) NOT NULL COMMENT '小区ID', `layer` int(11) NOT NULL COMMENT '地址层数', `id` int(11) NOT NULL COMMENT '地址id', `full_......

zaolonglei ⋅ 24分钟前 ⋅ 0

安装chrome的vue插件

参看文档:https://www.cnblogs.com/yulingjia/p/7904138.html

xiaoge2016 ⋅ 27分钟前 ⋅ 0

用SQL命令查看Mysql数据库大小

要想知道每个数据库的大小的话,步骤如下: 1、进入information_schema 数据库(存放了其他的数据库的信息) use information_schema; 2、查询所有数据的大小: select concat(round(sum(da...

源哥L ⋅ 49分钟前 ⋅ 0

两个小实验简单介绍@Scope("prototype")

实验一 首先有如下代码(其中@RestController的作用相当于@Controller+@Responsebody,可忽略) @RestController//@Scope("prototype")public class TestController { @RequestMap...

kalnkaya ⋅ 54分钟前 ⋅ 0

php-fpm的pool&php-fpm慢执行日志&open_basedir&php-fpm进程管理

12.21 php-fpm的pool pool是PHP-fpm的资源池,如果多个站点共用一个pool,则可能造成资源池中的资源耗尽,最终访问网站时出现502。 为了解决上述问题,我们可以配置多个pool,不同的站点使用...

影夜Linux ⋅ 今天 ⋅ 0

微服务 WildFly Swarm 管理

Expose Application Metrics and Information 要公开关于我们的微服务的有用信息,我们需要做的就是将监视器模块添加到我们的pom.xml中: 这将使在管理和监视功能得到实现。从监控角度来看,...

woshixin ⋅ 今天 ⋅ 0

java连接 mongo伪集群部署遇到的坑

部署mongo伪集群 #创建mongo数据存放文件地址mkdir -p /usr/local/config1/datamkdir -p /usr/local/config2/data mkdir -p /usr/local/config3/data mkdir -p /usr/local/config1/l......

努力爬坑人 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部