文档章节

golang中tcp socket粘包问题和处理

徐学良
 徐学良
发布于 2016/11/02 15:15
字数 1821
阅读 77
收藏 0

在用golang开发人工客服系统的时候碰到了粘包问题,那么什么是粘包呢?例如我们和客户端约定数据交互格式是一个json格式的字符串:

{"Id":1,"Name":"golang","Message":"message"}

当客户端发送数据给服务端的时候,如果服务端没有及时接收,客户端又发送了一条数据上来,这时候服务端才进行接收的话就会收到两个连续的字符串,形如:

{"Id":1,"Name":"golang","Message":"message"}{"Id":1,"Name":"golang","Message":"message"}

如果接收缓冲区满了的话,那么也有可能接收到半截的json字符串,酱紫的话还怎么用json解码呢?真是头疼。以下用golang模拟了下这个粘包的产生。

备注:下面贴的代码均可以运行于golang 1.3.1,如果发现有问题可以联系我。

粘包示例

server.go

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

//粘包问题演示服务端

package main

 

import (

    "fmt"

    "net"

    "os"

)

 

func main() {

    netListen, err := net.Listen("tcp"":9988")

    CheckError(err)

 

    defer netListen.Close()

 

    Log("Waiting for clients")

    for {

        conn, err := netListen.Accept()

        if err != nil {

            continue

        }

 

        Log(conn.RemoteAddr().String(), " tcp connect success")

        go handleConnection(conn)

    }

}

 

func handleConnection(conn net.Conn) {

    buffer := make([]byte, 1024)

    for {

        n, err := conn.Read(buffer)

        if err != nil {

            Log(conn.RemoteAddr().String(), " connection error: ", err)

            return

        }

        Log(conn.RemoteAddr().String(), "receive data length:", n)

        Log(conn.RemoteAddr().String(), "receive data:", buffer[:n])

        Log(conn.RemoteAddr().String(), "receive data string:", string(buffer[:n]))

    }

}

 

func Log(v ...interface{}) {

    fmt.Println(v...)

}

 

func CheckError(err error) {

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

}

client.go

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

//粘包问题演示客户端

package main

 

import (

    "fmt"

    "net"

    "os"

    "time"

)

 

func sender(conn net.Conn) {

    for i := 0; i < 100; i++ {

        words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"

        conn.Write([]byte(words))

    }

}

 

func main() {

    server := "127.0.0.1:9988"

    tcpAddr, err := net.ResolveTCPAddr("tcp4", server)

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

 

    conn, err := net.DialTCP("tcp", nil, tcpAddr)

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

 

    defer conn.Close()

 

    fmt.Println("connect success")

 

    go sender(conn)

 

    for {

        time.Sleep(1 1e9)

    }

}

运行后查看服务端输出:

golang粘包问题演示

golang粘包问题演示

可以看到json格式的字符串都粘到一起了,有种淡淡的忧伤了——头疼的事情又来了。

粘包产生原因

关于粘包的产生原因网上有很多相关的说明,主要原因就是tcp数据传递模式是流模式,在保持长连接的时候可以进行多次的收和发。如果要深入了解可以看看tcp协议方面的内容。这里推荐下鸟哥的私房菜,讲的非常通俗易懂。

粘包解决办法

主要有两种方法:

1、客户端发送一次就断开连接,需要发送数据的时候再次连接,典型如http。下面用golang演示一下这个过程,确实不会出现粘包问题。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

//客户端代码,演示了发送一次数据就断开连接的

package main

 

import (

    "fmt"

    "net"

    "os"

    "time"

)

 

func main() {

    server := "127.0.0.1:9988"

 

    for i := 0; i < 10000; i++ {

        tcpAddr, err := net.ResolveTCPAddr("tcp4", server)

        if err != nil {

            fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

            os.Exit(1)

        }

 

        conn, err := net.DialTCP("tcp", nil, tcpAddr)

        if err != nil {

            fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

            os.Exit(1)

        }

 

        words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"

        conn.Write([]byte(words))

 

        conn.Close()

    }

 

    for {

        time.Sleep(1 1e9)

    }

}

服务端代码参考上面演示粘包产生过程的服务端代码

2、包头+数据的格式,根据包头信息读取到需要分析的数据。形式如下图:

golang粘包问题包头定义

golang粘包问题包头定义

从数据流中读取数据的时候,只要根据包头和数据长度就能取到需要的数据。这个其实就是平时说的协议(protocol),只是这个数据传输协议非常简单,不像tcp、ip等协议有较多的定义。在实际的过程中通常会定义协议类或者协议文件来封装封包和解包的过程。下面代码演示了封包和解包的过程:

protocol.go

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

//通讯协议处理,主要处理封包和解包的过程

package protocol

 

import (

    "bytes"

    "encoding/binary"

)

 

const (

    ConstHeader         = "www.01happy.com"

    ConstHeaderLength   = 15

    ConstSaveDataLength = 4

)

 

//封包

func Packet(message []byte) []byte {

    return append(append([]byte(ConstHeader), IntToBytes(len(message))...), message...)

}

 

//解包

func Unpack(buffer []byte, readerChannel chan []byte) []byte {

    length := len(buffer)

 

    var i int

    for i = 0; i < length; i = i + 1 {

        if length < i+ConstHeaderLength+ConstSaveDataLength {

            break

        }

        if string(buffer[i:i+ConstHeaderLength]) == ConstHeader {

            messageLength := BytesToInt(buffer[i+ConstHeaderLength : i+ConstHeaderLength+ConstSaveDataLength])

            if length < i+ConstHeaderLength+ConstSaveDataLength+messageLength {

                break

            }

            data := buffer[i+ConstHeaderLength+ConstSaveDataLength : i+ConstHeaderLength+ConstSaveDataLength+messageLength]

            readerChannel <- data

 

            i += ConstHeaderLength + ConstSaveDataLength + messageLength - 1

        }

    }

 

    if i == length {

        return make([]byte, 0)

    }

    return buffer[i:]

}

 

//整形转换成字节

func IntToBytes(n int) []byte {

    x := int32(n)

 

    bytesBuffer := bytes.NewBuffer([]byte{})

    binary.Write(bytesBuffer, binary.BigEndian, x)

    return bytesBuffer.Bytes()

}

 

//字节转换成整形

func BytesToInt(b []byte) int {

    bytesBuffer := bytes.NewBuffer(b)

 

    var x int32

    binary.Read(bytesBuffer, binary.BigEndian, &x)

 

    return int(x)

}

tips:解包的过程中要注意数组越界的问题;另外包头要注意唯一性。

server.go

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

65

66

67

//服务端解包过程

package main

 

import (

    "./protocol"

    "fmt"

    "net"

    "os"

)

 

func main() {

    netListen, err := net.Listen("tcp"":9988")

    CheckError(err)

 

    defer netListen.Close()

 

    Log("Waiting for clients")

    for {

        conn, err := netListen.Accept()

        if err != nil {

            continue

        }

 

        Log(conn.RemoteAddr().String(), " tcp connect success")

        go handleConnection(conn)

    }

}

 

func handleConnection(conn net.Conn) {

    //声明一个临时缓冲区,用来存储被截断的数据

    tmpBuffer := make([]byte, 0)

 

    //声明一个管道用于接收解包的数据

    readerChannel := make(chan []byte, 16)

    go reader(readerChannel)

 

    buffer := make([]byte, 1024)

    for {

        n, err := conn.Read(buffer)

        if err != nil {

            Log(conn.RemoteAddr().String(), " connection error: ", err)

            return

        }

 

        tmpBuffer = protocol.Unpack(append(tmpBuffer, buffer[:n]...), readerChannel)

    }

}

 

func reader(readerChannel chan []byte) {

    for {

        select {

        case data := <-readerChannel:

            Log(string(data))

        }

    }

}

 

func Log(v ...interface{}) {

    fmt.Println(v...)

}

 

func CheckError(err error) {

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

}

client.go

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

//客户端发送封包

package main

 

import (

    "./protocol"

    "fmt"

    "net"

    "os"

    "time"

)

 

func sender(conn net.Conn) {

    for i := 0; i < 1000; i++ {

        words := "{\"Id\":1,\"Name\":\"golang\",\"Message\":\"message\"}"

        conn.Write(protocol.Packet([]byte(words)))

    }

    fmt.Println("send over")

}

 

func main() {

    server := "127.0.0.1:9988"

    tcpAddr, err := net.ResolveTCPAddr("tcp4", server)

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

 

    conn, err := net.DialTCP("tcp", nil, tcpAddr)

    if err != nil {

        fmt.Fprintf(os.Stderr, "Fatal error: %s", err.Error())

        os.Exit(1)

    }

 

    defer conn.Close()

    fmt.Println("connect success")

    go sender(conn)

    for {

        time.Sleep(1 1e9)

    }

}

运行这个程序可以看到服务端很好的获取到期望的json格式数据。完整代码演示下载:golang粘包问题解决示例

最后

上面演示的两种方法适用于不同的场景。第一种方法比较适合被动型的场景,例如打开网页,用户有请求才处理交互。第二种方法适合于主动推送的类型,例如即时聊天系统,因为要即时给用户推送消息,保持长连接是不可避免的,这时候就要用这种方法。

本文转载自:http://www.01happy.com/golang-tcp-socket-adhere/

徐学良
粉丝 24
博文 213
码字总数 13841
作品 0
浦东
程序员
私信 提问
JAVA网络编程:解决TCP网络传输“粘包”问题

当前在网络传输应用中,广泛采用的是TCP/IP通信协议及其标准的socket应用开发编程接口(API)。TCP/IP传输层有两个并列的协议:TCP和UDP。其中TCP(transport control protocol,传输控制协议...

HenrySun
2016/07/23
435
0
Socket的半包,粘包与分包的问题

首先看两个概念: 短连接: 连接->传输数据->关闭连接 HTTP是无状态的,浏览器和服务器每进行一次HTTP操作,就建立一次连接,但任务结束就中断连接。 也可以这样说:短连接是指SOCKET连接后发...

ksfzhaohui
2012/12/14
0
0
tcp协议数据传输“粘包”分析

这两天看csdn有一些关于socket粘包,socket缓冲区设置的问题,发现自己不是很清楚,所以查资料了解记录一下: 一 .两个简单概念长连接与短连接: 1.长连接 Client方与Server方先建立通讯连接...

长平狐
2013/12/25
2K
0
Java Socket技术总结

1 Socket通信原理 1.1 ISO七层模型 1.2 TCP/IP五层模型 应用层相当于OSI中的会话层,表示层,应用层。 区别参考:http://blog.chinaunix.net/uid-22166872-id-3716751.html 1.3 TCP报文 (1...

一贱书生
2016/11/10
7
0
python之socket编程

一、客户端/服务器架构 1.硬件C/S架构(打印机) 2.软件C/S架构   互联网中处处是C/S架构   如购物网站是服务端,你的浏览器是客户端(B/S架构也是C/S架构的一种)   腾讯作为服务端为你...

菜鸟小于
2018/08/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

浅析大数据 学习大数据后能做什么

大数据时代的到来使得大数据开发人才迎来了前所未有的机遇和挑战!一个绝佳的入行机会摆在了众人面前!于是,很多人都在打听,大数据到底有何应用?可以用来做什么?好程序员今天就为大家作出...

好程序员IT
14分钟前
1
0
C# USB视频人脸检测

此程序基于 虹软人脸识别进行的开发 SDK下载地址:https://ai.arcsoft.com.cn/ucenter/user/reg?utm_source=csdn1&utm_medium=referral 前提条件 从虹软官网下载获取ArcFace引擎应用开发包,...

是哇兴哥棒棒哒
25分钟前
2
0
Vagrant虚拟机硬盘扩容

# 停止虚拟机vagrant halt <machine_name># 进入VirtualBox VMs目录,查看并记录原磁盘uuid,留作后用vboxmanage showhdinfo box-disk1.vmdk# 克隆磁盘,vmdk格式无法调整大小,需要...

sskill
27分钟前
1
0
分布式商业萌芽,银行迎来发展新机遇

01 分布式商业萌芽,银行迎来发展新机遇 金融界:近几年区块链的热度经历了过山车般的转折。目前追逐区块链的资本也开始冷静下来,于此同时,各大商业银行对区块链的研究应用也越来越多。您认...

Java领航员
32分钟前
2
0
Spring系列教程六: Spring jdbcTemplate在Dao中的使用

概念 Spring中的jdbcTemplate的主要作用是实现数据的交互,下面我们就在dao层中如何使用jdbctemplate写测试案例 项目目录如下 基于xml实现jdbctemplate 这里我们使用的是JdbcDaoSupport这个类...

我叫小糖主
36分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部