文档章节

对协程的一些理解

ksfzhaohui
 ksfzhaohui
发布于 2016/12/09 18:11
字数 1625
阅读 6.6K
收藏 109

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

协程
协程(coroutine)最早由Melvin Conway在1963年提出并实现,一句话定义:协程是用户态的轻量级的线程

线程和协程
线程和协程经常被放在一起比较;线程一旦被创建出来,编写者是无法决定什么时候获得或者放出时间片的,是由操作系统进行统一调度的;而协程对编写者来说是可以控制切换的时机,并且切换代价比线程小,因为不需要进行内核态的切换。
协程避免了无意义的调度,由此可以提高性能,但也因此,程序员必须自己承担调度的责任,同时,协程也失去了标准线程使用多CPU的能力, 但是可用通过多个(进程+多协程)模式来充分利用多CPU。
协程另外一个重要的特点就是:协程是作用在用户态,操作系统内核对于协程是毫无感知的,这样一来,协程的创建就类似于普通对象的创建,非常轻量级,从而使你可以在一个线程里面轻松创建数十万个协程,就像数十万次函数调用一样。可以想象一下,如果是在一个进程里面创建数十万个线程,结果该是怎样可怕。

进程、线程、协程
进程:拥有自己独立的堆和栈,既不共享堆,亦不共享栈,进程由操作系统调度。
线程:拥有自己独立的栈和共享的堆,共享堆,不共享栈,线程亦由操作系统调度(标准线程是的)。
协程:和线程一样共享堆,不共享栈,协程由程序员在协程的代码里显示调度。

对协程的支持
Lua, Go,C#等语言原生支持协程
Java依赖第三方库,例如最为著名的协程开源库Kilim
C标准库里的函数setjmp和longjmp可以用来实现一种协程。

下面以lua语言为例子了解一下协程的工作机制

function foo(a)
    print("foo", a)
    return coroutine.yield(2 * a)
end

co = coroutine.create(function ( a, b )
    print("co-body_01", a, b)
    local r = foo(a + 1)
    print("co-body_02", r)
    return "end"
end)

print("---main---", coroutine.resume(co, 1, 10))
print("---main---", coroutine.resume(co, "r7"))

运行结果:

D:\>luac text.lua
D:\>lua luac.out
co-body_01      1       10
foo     2
---main---      true    4
co-body_02      r7
---main---      true    end

主要利用resume和yield两个函数进行控制切换的时机,具体描述看如下图(来源网上):

协程经常被用在遇到io阻塞操作的时候,直接yield让出cpu,让下面的程序可以继续执行,等到操作完成了再重新resume恢复到上一次yield的地方;有没有觉得这种模式和我们碰到过的异步回调模式有点类似,下面可以进行一个对比。

协程和callback
协程经常被用来和callback进行比较,因为都实现了异步通信的功能;下面以一个具体的场景来描述2者的区别:
A首先要走到B的面前,到B的面前之后,A对B说“Hello”,A说完之后B对A说“Hello”,注意这里的每个动作之前都有一段的延迟时间
这个场景如果用callback的方式来描述的话,会是这样:

A.walkto(function (  )
    A.say(function (  )
        B.say("Hello")
    end,"Hello")
end, B)

这边只用到2层嵌套,如果再多几层的话,真是非人类代码了,如果用协程来实现:

co = coroutine.create(function (  )
    local current = coroutine.running
    A.walto(function (  )
        coroutine.resume(current)
    end, B)
    coroutine.yield()
    A.say(function (  )
        coroutine.resume(current)
    end, "hello")
    coroutine.yield()
    B.say("hello")
end)

coroutine.resume(co)

结构清晰了不少,协程让编程者以同步的方式写成了异步大代码;
来源网上的一句总结:让原来要使用异步+回调方式写的非人类代码,可以用看似同步的方式写出来

不管是协程还是callback,本质上其实提供的是一种异步无阻塞的编程模式,下面看看java在这种模式下的尝试:

java异步无阻塞的编程模式
java语言本身没有提供协程的支持,但是一些第三方库提供了支持,比如JVM上早期有kilim以及现在比较成熟的Quasar。但是这里没打算就kilim和quasar框架进行介绍;这里要介绍的是java5中的Future类和java8中的CompletableFuture类。

1.Future使用

ExecutorService es = Executors.newFixedThreadPool(10);
Future<Integer> f = es.submit(() ->{
             // 长时间的异步计算
             // ……
             // 然后返回结果
             return 100;
});
//while(!f.isDone())
f.get();

虽然Future以及相关使用方法提供了异步执行任务的能力,但是对于结果的获取却是很不方便,只能通过阻塞或者轮询的方式得到任务的结果。
这种模式暂且叫它伪异步。其实我们想要的是类似Netty中这种模式:

ChannelFuture future = bootstrap.connect(new InetSocketAddress(host, port));
future.addListener(new ChannelFutureListener()
{
          @Override
           public void operationComplete(ChannelFuture future) throws Exception
           {
                if (future.isSuccess()) {
                      // SUCCESS
                 }
                 else {
                      // FAILURE
                 }
            }
});

操作完成时自动调用回调方法,终于在java8中推出了CompletableFuture类

2.CompletableFuture使用
CompletableFuture提供了非常强大的Future的扩展功能,可以帮助我们简化异步编程的复杂性,提供了函数式编程的能力,可以通过回调的方式处理计算结果,并且提供了转换和组合CompletableFuture的方法。这里不想介绍更多CompletableFuture的东西,想了解更多CompletableFuture介绍,看一个比较常见的使用场景:

CompletableFuture<Integer> future = CompletableFuture.supplyAsync(耗时函数);
Future<Integer> f = future.whenComplete((v, e) -> {
        System.out.println(v);
        System.out.println(e);
});
System.out.println("other...");

CompletableFuture真正的实现了异步的编程模式

总结
为什么协程在Java里一直那么小众,Java里基本上所有的库都是同步阻塞的,很少见到异步无阻塞的。而且得益于J2EE,以及Java上的三大框架(SSH)洗脑,大部分Java程序员都已经习惯了基于线程,线性的完成一个业务逻辑,很难让他们接受一种将逻辑割裂的异步编程模型。

个人博客:codingo.xyz

© 著作权归作者所有

下一篇: Java调用Lua
ksfzhaohui

ksfzhaohui

粉丝 426
博文 167
码字总数 261352
作品 3
南京
高级程序员
私信 提问
加载中

评论(16)

陈清冈
陈清冈
用线程不是也可以完成异步无阻塞吗~
ksfzhaohui
ksfzhaohui 博主

引用来自“pseudo”的评论

你可以看看rxjava
好的,谢啦
pseudo
pseudo
你可以看看rxjava
行者无疆0511
原来这个叫协程 学到了
loyal
loyal
扯淡,java是有无阻塞的,问题是早期的代码量太大.如果大家都用jdk8,以及使用基于jdk8的很多先进的库,都直接支持非阻塞的方式.但很多历史原因不那么容易升级到jdk8而已.
ksfzhaohui
ksfzhaohui 博主

引用来自“BoXuan”的评论

node.js 6版本也支持协程了,yield的确比使用大量的闭包清晰很多,不过node.js也是单进程对应单线程的,cpu利用率低,不过有其它方式弥补,在一定条件下,逻辑不算太复杂的情况下,node.js的并发效果甚至比多线程的java要好,正如redis一样,它也是单线程的,它的高效只能在存取非常快的情况下,一旦存取很大的数据并发量就影响全局,拖慢整个系统。我们也不能忽视单线程机制的弊端。为什么java的协程库没有得到广泛应用,应该也跟java的设计初衷相违背,协程并不是万能的,但线程依赖操作系统,依靠CPU内核切换基本能满足所有需求,正因为有一层CPU内核切换在某种情况下肯定要弱于单线程的协程机制。
恩,其实我没打算去评论协程和线程哪个好,只是说协程的这种异步无阻塞的编程模式在java中也可以很好的体现
ksfzhaohui
ksfzhaohui 博主

引用来自“BoXuan”的评论

我理解的协程应该是类似一个定时器线程中处理很多个定时任务,只是协程有另一套完整的流程。其实协程的缺点也很明显,执行复杂函数返回复杂的结果,异步执行但要使用yield保证类似同步代码的方式,必然有个中间堆栈保存结果。而且执行很多个复杂的协程的底层实现应该还是同步顺序执行的,要并行还得使用线程。
是的,需要保存上下文,这点和线程有点类似,但不能做到真正的并行
kakai
kakai
node.js 6版本也支持协程了,yield的确比使用大量的闭包清晰很多,不过node.js也是单进程对应单线程的,cpu利用率低,不过有其它方式弥补,在一定条件下,逻辑不算太复杂的情况下,node.js的并发效果甚至比多线程的java要好,正如redis一样,它也是单线程的,它的高效只能在存取非常快的情况下,一旦存取很大的数据并发量就影响全局,拖慢整个系统。我们也不能忽视单线程机制的弊端。为什么java的协程库没有得到广泛应用,应该也跟java的设计初衷相违背,协程并不是万能的,但线程依赖操作系统,依靠CPU内核切换基本能满足所有需求,正因为有一层CPU内核切换在某种情况下肯定要弱于单线程的协程机制。
kakai
kakai
我理解的协程应该是类似一个定时器线程中处理很多个定时任务,只是协程有另一套完整的流程。其实协程的缺点也很明显,执行复杂函数返回复杂的结果,异步执行但要使用yield保证类似同步代码的方式,必然有个中间堆栈保存结果。而且执行很多个复杂的协程的底层实现应该还是同步顺序执行的,要并行还得使用线程。
kakai
kakai
我理解的协程应该是类似一个定时器线程中处理很多个定时任务,只是协程有另一套完整的流程。其实协程的缺点也很明显,执行复杂函数返回复杂的结果,异步执行但要使用yield保证类似同步代码的方式,必然有个中间堆栈保存结果。而且执行很多个复杂的协程的底层实现应该还是同步顺序执行的,要并行还得使用线程。
深入理解协程(三):async/await实现异步协程

原创不易,转载请联系作者 分为三部分进行讲解: 协程的引入 yield from实现异步协程 async/await实现异步协程 本篇为系列文章的最后一篇。 从本篇你将了解到: 的使用。 如何从风格的协程修...

osc_wme0cmft
04/16
11
0
我实在不懂Python的Asyncio

原语 事件循环(Event Loop) Awaitables和Coroutines Coroutine Wrappers Awaitables and Futures Tasks Handles Executors Transport and Protocols 如何使用Asyncio 上下文数据 个人想法 这......

osc_es027r49
2019/03/19
5
0
php-msf 源码解读

date: 2017-12-22 11:29:15 title: php-msf 源码解读 php-msf: https://github.com/pinguo/php-msf 百度脑图 - php-msf 源码解读: http://naotu.baidu.com/file/cc7b5a49dfed46001d22222b1af......

daydaygo
2017/12/24
0
0
Python线程、协程探究(3)——协程的调度实现 - 知乎

前言的前言 同学们,别光点赞收藏,记得关注我的专栏哦,每周都有更新! 前言 这篇文章我们再次回到协程。协程的技术实际上是非常重要的,比如微信的后台就大量的使用协程来进行并发量的提高...

一亩三分地
02/20
0
0
Kotlin 的协程用力瞥一眼

本期作者: 视频:扔物线(朱凯) 文章:LewisLuo(罗宇) 大家好,我是扔物线朱凯。 终于到了协程的一期了。 Kotlin 的协程是它非常特别的一块地方:宣扬它的人都在说协程多么好多么棒,但多...

扔物线
2019/09/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

python设置搜索路径,以及外层文件调用时路径变动问题

通过sys.path设置路径 import syssys.path.append("待加入的搜索路径") 修改python环境变量 编辑 ~/.profile 文件:export PYTHONPATH= $PYTHONPATH:搜索路径临时修改方法:直接在命令...

hc321
48分钟前
9
0
一个开源的跨平台音乐播放与音乐下载器

跨平台的音乐播放器 目前国内的linux平台上的音乐播放器不多,除了网易云比较多人使用的。 当然Listen1也是一个不错的选择,真正的跨平台,包括Android/Mac/Win/Linux以及Chrome插件,目前尚...

氷泠
54分钟前
18
0
联盟之畔,算力之颠——超算产业峰会,邀你共享

2020年5月30日,在成都首座万豪酒店,一场关于【算力之巅 超算产业峰会】正在如火如荼进行着,Tokenlnsight联合多位算力界代表人物参与此次峰会,一起探讨挖矿与财富机遇的话题,星际联盟也很...

IPFS星际联盟
57分钟前
12
0
Oracle学习(五) --- 视图、序列、同义词、索引

1、视图 1.1、什么是视图 视图就是一个虚拟表,实体表的映射。 什么时候使用视图 在开发中,有一些表结构是不希望过多的人去接触,就把实体表映射为一个视图。(表结构简化) 在项目过程中,程...

庭前云落
今天
27
0
设置JavaScript函数的默认参数值 - Set a default parameter value for a JavaScript function

问题: I would like a JavaScript function to have optional arguments which I set a default on, which get used if the value isn't defined (and ignored if the value is passed). 我......

javail
今天
23
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部