文档章节

Go channel实现原理剖析

恋恋美食
 恋恋美食
发布于 2018/10/16 11:30
字数 2035
阅读 7.9K
收藏 3

1. 前言

channel是Golang在语言层面提供的goroutine间的通信方式,比Unix管道更易用也更轻便。channel主要用于进程内各goroutine间通信,如果需要跨进程通信,建议使用分布式系统的方法来解决。

本章从源码角度分析channel的实现机制,实际上这部分源码非常简单易读。

2. chan数据结构

src/runtime/chan.go:hchan定义了channel的数据结构:

type hchan struct {
	qcount   uint           // 当前队列中剩余元素个数
	dataqsiz uint           // 环形队列长度,即可以存放的元素个数
	buf      unsafe.Pointer // 环形队列指针
	elemsize uint16         // 每个元素的大小
	closed   uint32	        // 标识关闭状态
	elemtype *_type         // 元素类型
	sendx    uint           // 队列下标,指示元素写入时存放到队列中的位置
	recvx    uint           // 队列下标,指示元素从队列的该位置读出
	recvq    waitq          // 等待读消息的goroutine队列
	sendq    waitq          // 等待写消息的goroutine队列
	lock mutex              // 互斥锁,chan不允许并发读写
}

从数据结构可以看出channel由队列、类型信息、goroutine等待队列组成,下面分别说明其原理。

2.1 环形队列

chan内部实现了一个环形队列作为其缓冲区,队列的长度是创建chan时指定的。

下图展示了一个可缓存6个元素的channel示意图:

  • dataqsiz指示了队列长度为6,即可缓存6个元素;
  • buf指向队列的内存,队列中还剩余两个元素;
  • qcount表示队列中还有两个元素;
  • sendx指示后续写入的数据存储的位置,取值[0, 6);
  • recvx指示从该位置读取数据, 取值[0, 6);

2.2 等待队列

从channel读数据,如果channel缓冲区为空或者没有缓冲区,当前goroutine会被阻塞。
向channel写数据,如果channel缓冲区已满或者没有缓冲区,当前goroutine会被阻塞。

被阻塞的goroutine将会挂在channel的等待队列中:

  • 因读阻塞的goroutine会被向channel写入数据的goroutine唤醒;
  • 因写阻塞的goroutine会被从channel读数据的goroutine唤醒;

下图展示了一个没有缓冲区的channel,有几个goroutine阻塞等待读数据:

注意,一般情况下recvq和sendq至少有一个为空。只有一个例外,那就是同一个goroutine使用select语句向channel一边写数据,一边读数据。

2.3 类型信息

一个channel只能传递一种类型的值,类型信息存储在hchan数据结构中。

  • elemtype代表类型,用于数据传递过程中的赋值;
  • elemsize代表类型大小,用于在buf中定位元素位置。

2.4 锁

一个channel同时仅允许被一个goroutine读写,为简单起见,本章后续部分说明读写过程时不再涉及加锁和解锁。

3. channel读写

3.1 创建channel

创建channel的过程实际上是初始化hchan结构。其中类型信息和缓冲区长度由make语句传入,buf的大小则与元素大小和缓冲区长度共同决定。

创建channel的伪代码如下所示:

func makechan(t *chantype, size int) *hchan {
	var c *hchan
	c = new(hchan)
	c.buf = malloc(元素类型大小*size)
	c.elemsize = 元素类型大小
	c.elemtype = 元素类型
	c.dataqsiz = size

	return c
}

3.2 向channel写数据

向一个channel中写数据简单过程如下:

  1. 如果等待接收队列recvq不为空,说明缓冲区中没有数据或者没有缓冲区,此时直接从recvq取出G,并把数据写入,最后把该G唤醒,结束发送过程;
  2. 如果缓冲区中有空余位置,将数据写入缓冲区,结束发送过程;
  3. 如果缓冲区中没有空余位置,将待发送数据写入G,将当前G加入sendq,进入睡眠,等待被读goroutine唤醒;

简单流程图如下:

3.3 从channel读数据

从一个channel读数据简单过程如下:

  1. 如果等待发送队列sendq不为空,且没有缓冲区,直接从sendq中取出G,把G中数据读出,最后把G唤醒,结束读取过程;
  2. 如果等待发送队列sendq不为空,此时说明缓冲区已满,从缓冲区中首部读出数据,把G中数据写入缓冲区尾部,把G唤醒,结束读取过程;
  3. 如果缓冲区中有数据,则从缓冲区取出数据,结束读取过程;
  4. 将当前goroutine加入recvq,进入睡眠,等待被写goroutine唤醒;

简单流程图如下:

3.4 关闭channel

关闭channel时会把recvq中的G全部唤醒,本该写入G的数据位置为nil。把sendq中的G全部唤醒,但这些G会panic。

除此之外,panic出现的常见场景还有:

  1. 关闭值为nil的channel
  2. 关闭已经被关闭的channel
  3. 向已经关闭的channel写数据

4. 常见用法

4.1 单向channel

顾名思义,单向channel指只能用于发送或接收数据,实际上并没有单向channel。

我们知道channel可以通过参数传递,所谓单向channel只是对channel的一种使用限制,这跟C语言使用const修饰函数参数为只读是一个道理。

  • func readChan(chanName <-chan int): 通过形参限定函数内部只能从channel中读取数据
  • func writeChan(chanName chan<- int): 通过形参限定函数内部只能向channel中写入数据

一个简单的示例程序如下:

func readChan(chanName <-chan int) {
    <- chanName
}

func writeChan(chanName chan<- int) {
    chanName <- 1
}

func main() {
    var mychan = make(chan int, 10)

    writeChan(mychan)
    readChan(mychan)
}

mychan是个正常的channel,而readChan()参数限制了传入的channel只能用来读,writeChan()参数限制了传入的channel只能用来写。

4.2 select

使用select可以监控多channel,比如监控多个channel,当其中某一个channel有数据时,就从其读出数据。

一个简单的示例程序如下:

package main

import (
    "fmt"
    "time"
)

func addNumberToChan(chanName chan int) {
    for {
        chanName <- 1
        time.Sleep(1 * time.Second)
    }
}

func main() {
    var chan1 = make(chan int, 10)
    var chan2 = make(chan int, 10)

    go addNumberToChan(chan1)
    go addNumberToChan(chan2)

    for {
        select {
        case e := <- chan1 :
            fmt.Printf("Get element from chan1: %d\n", e)
        case e := <- chan2 :
            fmt.Printf("Get element from chan2: %d\n", e)
        default:
            fmt.Printf("No element in chan1 and chan2.\n")
            time.Sleep(1 * time.Second)
        }
    }
}

程序中创建两个channel: chan1和chan2。函数addNumberToChan()函数会向两个channel中周期性写入数据。通过select可以监控两个channel,任意一个可读时就从其中读出数据。

程序输出如下:

D:\SourceCode\GoExpert\src>go run main.go
Get element from chan1: 1
Get element from chan2: 1
No element in chan1 and chan2.
Get element from chan2: 1
Get element from chan1: 1
No element in chan1 and chan2.
Get element from chan2: 1
Get element from chan1: 1
No element in chan1 and chan2.

从输出可见,从channel中读出数据的顺序是随机的,事实上select语句的多个case执行顺序是随机的,关于select的实现原理会有专门章节分析。

通过这个示例想说的是:select的case语句读channel不会阻塞,尽管channel中没有数据。这是由于case语句编译后调用读channel时会明确传入不阻塞的参数,此时读不到数据时不会将当前goroutine加入到等待队列,而是直接返回。

4.3 range

通过range可以持续从channel中读出数据,好像在遍历一个数组一样,当channel中没有数据时会阻塞当前goroutine,与读channel时阻塞处理机制一样。

func chanRange(chanName chan int) {
    for e := range chanName {
        fmt.Printf("Get element from chan: %d\n", e)
    }
}

注意:如果向此channel写数据的goroutine退出时,系统检测到这种情况后会panic,否则range将会永久阻塞。

赠人玫瑰手留余香,如果觉得不错请给个赞~

本篇文章已归档到GitHub项目,求星~ 点我即达

© 著作权归作者所有

恋恋美食

恋恋美食

粉丝 116
博文 176
码字总数 167115
作品 0
杭州
高级程序员
私信 提问
加载中

评论(3)

恋恋美食
恋恋美食 博主

引用来自“cdh0805010”的评论

有一个图弄错了:从channel读数据的图,是复制往channel写入数据的图。
谢谢提醒,已更新
cdh0805010
cdh0805010
不过正片文章写得很不错,通俗易懂
cdh0805010
cdh0805010
有一个图弄错了:从channel读数据的图,是复制往channel写入数据的图。
SOFAChannel#6:轻量级监控分析系统 SOFALookout 原理讲解和功能演示

| SOFAChannel 有趣实用的分布式架构频道:前沿技术、直播 Coding、观点“抬杠”,多种形式。 将作为 SOFA 所有在线内容的承载,包含直播/音视频教程,集中体现 SOFAStack 的能力全景图。 | ...

SOFAStack
2019/06/12
94
0
由浅入深剖析 go channel

channel 是 golang 中最核心的 feature 之一,因此理解 Channel 的原理对于学习和使用 golang 非常重要。 channel 是 goroutine 之间通信的一种方式,可以类比成 Unix 中的进程的通信方式管道...

huojiao2006
2018/11/02
0
0
SOFAChannel#10:分布式事务 Seata 长事务解决方案 Saga 模式详解

| SOFAChannel 有趣实用的分布式架构频道,前沿技术、直播 Coding、观点“抬杠”,多种形式。 将作为 SOFA 所有在线内容的承载,包含直播/音视频教程,集中体现 SOFAStack 的能力全景图。 | ...

SOFAStack
2019/12/30
58
0
有经验JAVA程序员如何提升自己?

具有一到五年开发经验 需要学习内容很多 JVM/分布式/高并发/性能优化/Spring MVC/Spring Boot/Spring Cloud/MyBatis/Netty源码分析等等等 01、透彻理解Tomcat原理手写动静态资源的实现 02、分...

阿阳啊啊
2017/11/29
0
0
【原创】NioEventLoop 剖析

作者:星巴刻 前文《 NioEventLoop 的职责》从外部的角度阐述了 NioEventLoop 的首要责任:为注册在 NioEventLoop 上的 channels 服务,发现 channels 上的 I/O 事件,然后将事件转交 channe...

星巴刻
2017/11/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

使用Enum值作为String文字

使用存储在Enum中作为字符串文字的值的最佳方法是什么? 例如: public enum Modes { some-really-long-string, mode1, mode2, mode3} 然后,稍后我可以使用Mode.mode1将其...

javail
31分钟前
65
0
namenode HA模式 active节点挂了会导致hive cli长时间连接不上

版本说明:hadoop版本是hdp2.5.0.0-1245 hdfs版本2.7.3.2.5.0.0-1245 yarn版本2.7.3.2.5.0.0-1245 namenode的active节点挂了切换成standby状态失败,standby节点切换成active节点,这种情况会...

zjt9581
31分钟前
39
0
一张图说明商业银行经营环境

你看不到图,是因为图很大、很长,加载需要时间。同样,阅读也需要时间、整理也需要时间,消化也需要时间。

悟空太多啦
37分钟前
150
0
Vue之Webpack入门及学习总结

Babel 是一个通用的多功能 JavaScript 编译器,但与一般编译器不同的是它只是把同种语言的高版本规则转换为低版本规则,而不是输出另一种低级机器可识别的代码,并且在依赖不同的拓展插件下可...

kyle小哥
42分钟前
63
0
在Notepad ++中删除空行

如何在Notepad ++中替换空行? 我尝试了一个find并用find中的空行替换,并且替换中没有任何内容,但它没有用; 它可能需要正则表达式。 #1楼 如果空行包含制表符或空格,这显然不起作用。 由于...

技术盛宴
46分钟前
77
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部