文档章节

基于NIO的消息路由的实现(四) 服务端通讯主线程(2)断包和粘包的处理

皮鞋铮亮
 皮鞋铮亮
发布于 2015/08/18 21:04
字数 1749
阅读 1727
收藏 52
点赞 0
评论 1

本来我打算单独开一章,专门说明粘包和断包,但是觉得这个事儿我在做的时候挺头疼的,但是对于别人或许不那么重要,于是就在这里写吧。

那么何谓粘包、何谓断包呢?

  • 粘包:我们知道客户端在写入报文给服务端的时候,首先要将需要写入的内容写入Buffer,以ByteBuffer为例,如果你Buffer定义的足够大,并且你发送的报文足够快,此时就会产生粘包现象,举例来说 你发送一个 报文“ M|A”,然后你有发送了一个“M|B”,如果产生粘包,服务端从缓冲区里面读出的就是“M|AM|B”,这样的字符串;也就是说,客户端的第一条报文和第二条报文粘在了一起。

  • 断包:断包往往是在粘包之后产生的,按照刚才的例子,假设你的缓冲区大小设置为4(当然没人会设置这么小的缓冲区,举例子,凑合看吧),如果你发送的报文足够快,就会产生发送给服务器的报文变为这样:第一个包“M|AM”,第二个包“|B”

在大多数的NIO例子中,均不包括此过程的处理,而且很多的例子中也不会浮现这个情况,甚至程序上线,如果系统压力不大,这样的情况都出现的很少(尤其是断包)。值得庆幸的是,这两种情况,我均重现了,我在客户端不做任何停顿的情况下,for循环发送10万条报文给服务端,当我的缓冲区服务端缓冲区设置为4096,客户端缓冲区设置为1024的时候,出现的频率还是蛮高的,可以加大缓冲区来减少断包的情况发生,但是不能避免,粘包则是必然发生的。

好、我回答在第7小点中提到的问题,为什么要在通讯协议的外层在加上四位?这四位就是用来标记我报文指令的长度的,一旦我知道了这个长度,我就可以根据长度对断包和粘包进行相关的处理。具体代码如下:

/**
     * 处理断包和粘包现象
     *
     * @param socketChannel
     * @param byteBuffer
     */
    private void handlePacket(SocketChannel socketChannel, ByteBuffer byteBuffer) {
        //标记读取缓冲区起始位置
        int location = 0;
        //如果缓冲区从0到limit的数量大于包体大小标记数字
        while (byteBuffer.remaining() > PACKET_HEAD_LENGTH) {
            //包体大小标记
            String strBsize;
            //如果endPacket的字节length大于0,则证明:断包的前一截为包含包头和包体的;
            if (endPacketStr.getBytes().length > 0) {

                String strPacket = endPacketStr.substring(PACKET_HEAD_LENGTH) + new String(byteBuffer.array(), 0, remainBodySize);
                byteBuffer.position(remainBodySize);
                location = remainBodySize;
//                                    if(logger.isDebugEnabled()) {
                logger.info("【断包处理】(包含包体)合并后的报文:" + strPacket + ",缓冲区的position:" + location);
//                                    }
                offerPacket(socketChannel, strPacket);
                //处理完毕,清理断包的前一截,以便于下次使用;
                endPacketStr = "";
                //清理后一截报文的字节数标记;
                remainBodySize = 0;
                continue;
                //如果endBufferStr的字节length大于0,则证明:断包的前一截仅包含包头或包头的一部分,不包含包体;
            } else if (endBufferStr.getBytes().length > 0) {

                strBsize = (new StringBuffer(endBufferStr).append(new
                        String(byteBuffer.array(), location, PACKET_HEAD_LENGTH - endBufferStr.getBytes().length))).toString();

                //移动缓冲区position
                byteBuffer.position(PACKET_HEAD_LENGTH - endBufferStr.getBytes().length);
                location = byteBuffer.position();
                //得到包体大小
                int byteBufferSize = Integer.parseInt(strBsize.trim());
                //进行报文合并,把保存的仅包含包头或包头一部分的前一截与后一截合并
                String strPacket = endBufferStr + (new String(byteBuffer.array(), PACKET_HEAD_LENGTH - endBufferStr.getBytes().length, byteBufferSize));
                byteBuffer.position(location + byteBufferSize);//将缓冲区的位置移动到下一个包体大小标记位置
                location = byteBuffer.position();
                logger.info("【断包处理】(不包含包体)合并后的报文:" + strPacket + ",缓冲区的position:" + location);
                offerPacket(socketChannel, strPacket);
                endBufferStr = "";
                continue;
                //进入正常处理(规范的报文处理,不考虑断包)
            } else {
                strBsize = new String(byteBuffer.array(), location, PACKET_HEAD_LENGTH);
                //移动缓冲区position
                byteBuffer.position(location + PACKET_HEAD_LENGTH);
            }
            if (logger.isDebugEnabled()) {
                logger.debug("收到客户端包体大小:" + strBsize + ",查看position变化:" + byteBuffer.position());
            }
            //得到包体大小
            int byteBufferSize = Integer.parseInt(strBsize.trim());
            //如果从缓冲区当前位置到limit大于包体大小,证明粘包了,进行包体处理。等于则为正常包体,不存在粘包现象。
            if (byteBuffer.remaining() >= byteBufferSize) {

                String strPacket = endBufferStr + (new String(byteBuffer.array(), PACKET_HEAD_LENGTH + location, byteBufferSize));
                byteBuffer.position(location + PACKET_HEAD_LENGTH + byteBufferSize);//将缓冲区的位置移动到下一个包体大小标记位置
                if (logger.isDebugEnabled()) {
                    logger.debug("收到客户端包体内容:" + strPacket + ",2查看position变化:" + byteBuffer.position());
                }
                //将字符串报文封装为类
                offerPacket(socketChannel, strPacket);
                location = byteBuffer.position();//设定读取缓冲区起始位置
                //如果缓冲区当前位置到limit小于包体,证明断包了,进行断包处理
            } else {

                endPacketStr = new String(byteBuffer.array(), location, byteBuffer.limit() - location);
                remainBodySize = Integer.parseInt(endPacketStr.substring(0, PACKET_HEAD_LENGTH).trim()) - endPacketStr.getBytes().length + PACKET_HEAD_LENGTH;
                //已经找到断包前半截,所以把整个buffer的position调整至最后,不再处理。等待新的key进入
                byteBuffer.position(byteBuffer.limit());
                logger.info("处理断包仅包含完整包头的尾部报文,缓冲区位置:" + location + ",缓冲区limit:" + byteBuffer.limit() + ",包含完全包头的剩余字符:" + endPacketStr + ",bodySize:" + remainBodySize);

            }
        }
        //处理仅包含包头前一截的报文;
        if (byteBuffer.remaining() > 0) {

            //缓冲区中剩余的仅包含包头前一截的报文
            endBufferStr = new String(byteBuffer.array(), location, byteBuffer.limit() - location);

            logger.info("处理断包仅包含包头前一截的尾部报文,缓冲区位置:" + location + ",缓冲区limit:" + byteBuffer.limit() + ",不包含完全包头的剩余字符:" + endBufferStr);
            //移动缓冲区指针到最后,代表已经保存了前一截报文,无需再进行处理;
            byteBuffer.position(byteBuffer.limit());
        }
        //我也不知道这是否有用,能不能释放内存资源
        byteBuffer.clear();
    }

这块儿很可能有不合理的地方,因为对于一个接近40岁的程序员来说,逻辑在头脑中已经比较混乱了。我知道要对如下几种情况进行处理:

1、粘包,粘包比较好处理,主要是根据包头的前四位,确定包体的大小,然后移动buffer的位置(position),把整个包读出来放入队列就行了;

2、断包:断包分为两种情况,第一种从包头开始就断了,这是你无法获得包体大小,需要把前面的一截保存起来,就必须等下一个报文来了之后,把他们连在一起,然后再做处理;第二种,已经读到完整的包头,仍然需要把前面一截保存起来,确定后面还有多少,然后再处理;我利用了三个类成员:

//断包处理,前一截包含完整包头;
private String endPacketStr = "";
//断包处理,前一截不包含完整包头;
private String endBufferStr = "";
//断包处理,前一截包含完整包头时,包体的大小标记;
private int remainBodySize = 0;

注意这些类的成员需要在使用后,清空,以便于下次使用,否则就乱套了。这块儿代码,我写完就没再看过,挺费神。如果有人能提供更好地办法,不胜感激。


© 著作权归作者所有

共有 人打赏支持
皮鞋铮亮
粉丝 36
博文 12
码字总数 11603
作品 0
沈阳
加载中

评论(1)

宅男小何
宅男小何
这两种情况我觉得可以定义一条消息的结束标记,比如\r\n,收到这个表示这条消息完毕,如果没收到,就等待继续接收数据。
当然你文章里面说的在header里面指定length,也是可以解决的。
http协议我没记错header里面也可以不要content-length这个,也可以的,当没有这个header的时候估计就是当收到结束标记的时候,表示此次通信消息完毕吧,
基于NIO的消息路由的实现(四) 服务端通讯主线程(1)

一、简单介绍: 服务端通讯主线程是消息路由服务的启动类,其主要作用如下: 1、初始化相关配置; 2、根据配置的ip和port创建tcp服务; 3、接收客户端连接,并给客户端分配令牌; 4、接收客户...

皮鞋铮亮 ⋅ 2015/08/18 ⋅ 5

基于NIO的消息路由的实现(一) 前言

一、前言: 已经很久没有碰编码了,大概有9年的时间,日新月异的框架和新东西让我眼花缭乱。之前一直在做web相关的应用。由于项目不大,分布式开发在我编码的那个年代里没有做过,后来走上管...

皮鞋铮亮 ⋅ 2015/08/17 ⋅ 16

gecko框架概述

1 gecko概述 最近在研究metaq消息队列,它里面用到的NIO通信框架是gecko,文档是这么描述的 Gecko是一个Java NIO的通讯组件,它在一个轻量级的NIO框架的基础上提供了更高层次的封装和功能。 ...

乒乓狂魔 ⋅ 2015/12/19 ⋅ 2

java NIO 处理粘包 断包问题

NIO socket是非阻塞的通讯模式,与IO阻塞式的通讯不同点在于NIO的数据要通过channel放到一个缓存池ByteBuffer中,然后再从这个缓存池中读出数据,而IO的模式是直接从inputstream中read。所以...

Flyer_cao ⋅ 2016/12/19 ⋅ 0

Netty 之入门应用

说明 系列文章:http://www.jianshu.com/p/594441fb9c9e 本文完全参考自《Netty权威指南(第2版)》,李林峰著。 Netty 环境搭建 例程使用构建工程,在pom文件中,加入Netty的依赖。 服务端程...

被称为L的男人 ⋅ 2017/09/02 ⋅ 0

NIO技术讨论

1 2015-11-01 NIO讨论 - 并发编程网:Java NIO系列教程- infoq:Netty系列之Netty线程模型- infoq:Java NIO通信框架在电信领域的实践- 经典tcp粘包分析- Mina、Netty、Twisted一起学- 理解Jav...

乒乓狂魔 ⋅ 2015/11/05 ⋅ 1

Netty5入门学习笔记001

Netty官网:http://netty.io/ 本例程使用最新的netty5.x版本编写 服务器端: TimeServer 时间服务器 服务端接收客户端的连接请求和查询当前时间的指令,判断指令正确后响应返回当前服务器的校...

山东小木 ⋅ 2014/12/17 ⋅ 10

基于NIO的消息路由的实现(三)服务端与客户端结构

一、服务器端结构: 如图所示: 指令类和报文类:对下行的指令和上行的报文进行了类的封装,分别实现IOrder和IPacket接口,继承Order,Packet基类; 服务主线程:接受客户端连接,将客户端发...

皮鞋铮亮 ⋅ 2015/08/18 ⋅ 3

Netty精粹之TCP粘包拆包问题

粘包拆包问题是处于网络比较底层的问题,在数据链路层、网络层以及传输层都有可能发生。我们日常的网络应用开发大都在传输层进行,由于UDP有消息保护边界,不会发生这个问题,因此这篇文章只...

Float_Luuu ⋅ 2016/02/27 ⋅ 0

Netty干货分享:京东京麦的生产级TCP网关技术实践总结

1、引言 京东的京麦商家后台2014年构建网关,从HTTP网关发展到TCP网关。在2016年重构完成基于Netty4.x+Protobuf3.x实现对接PC和App上下行通信的高可用、高性能、高稳定的TCP长连接网关。 早期...

JackJiang2011 ⋅ 2017/12/01 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

mysql5.7系列修改root默认密码

操作系统为centos7 64 1、修改 /etc/my.cnf,在 [mysqld] 小节下添加一行:skip-grant-tables=1 这一行配置让 mysqld 启动时不对密码进行验证 2、重启 mysqld 服务:systemctl restart mysql...

sskill ⋅ 昨天 ⋅ 0

Intellij IDEA神器常用技巧六-Debug详解

在调试代码的时候,你的项目得debug模式启动,也就是点那个绿色的甲虫启动服务器,然后,就可以在代码里面断点调试啦。下面不要在意,这个快捷键具体是啥,因为,这个keymap是可以自己配置的...

Mkeeper ⋅ 昨天 ⋅ 0

zip压缩工具、tar打包、打包并压缩

zip 支持压缩目录 1.在/tmp/目录下创建目录(study_zip)及文件 root@yolks1 study_zip]# !treetree 11└── 2 └── 3 └── test_zip.txt2 directories, 1 file 2.yum...

蛋黄Yolks ⋅ 昨天 ⋅ 0

聊聊HystrixThreadPool

序 本文主要研究一下HystrixThreadPool HystrixThreadPool hystrix-core-1.5.12-sources.jar!/com/netflix/hystrix/HystrixThreadPool.java /** * ThreadPool used to executed {@link Hys......

go4it ⋅ 昨天 ⋅ 0

容器之上传镜像到Docker hub

Docker hub在国内可以访问,首先要创建一个账号,这个后面会用到,我是用126邮箱注册的。 1. docker login List-1 Username不能使用你注册的邮箱,要用使用注册时用的username;要输入密码 ...

汉斯-冯-拉特 ⋅ 昨天 ⋅ 0

SpringBoot简单使用ehcache

1,SpringBoot版本 2.0.3.RELEASE ①,pom.xml <parent><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-parent</artifactId><version>2.0.3.RELE......

暗中观察 ⋅ 昨天 ⋅ 0

监控各项服务

比如有三个服务, 为了减少故障时间,增加监控任务,使用linux的 crontab 实现. 步骤: 1,每个服务写一个ping接口 监控如下内容: 1,HouseServer 是否正常运行,所以需要增加一个ping的接口 ; http...

黄威 ⋅ 昨天 ⋅ 0

Spring源码解析(八)——实例创建(下)

前言 来到实例创建的最后一节,前面已经将一个实例通过不同方式(工厂方法、构造器注入、默认构造器)给创建出来了,下面我们要对创建出来的实例进行一些“加工”处理。 源码解读 回顾下之前...

MarvelCode ⋅ 昨天 ⋅ 0

nodejs __proto__跟prototype

前言 nodejs中完全没有class的这个概念,这点跟PHP,JAVA等面向对象的语言很不一样,没有class跟object的区分,那么nodejs是怎么样实现继承的呢? 对象 对象是由属性跟方法组成的一个东西,就...

Ai5tbb ⋅ 昨天 ⋅ 0

Ubuntu16.04 PHP7.0 不能用MYSQLi方式连接MySQL5.7数据库

Q: Ubuntu16.04 PHP7.0 不能用MYSQLi方式连接MySQL5.7数据库 A: 执行以下2条命令解决: apt-get install php-mysql service apache2 restart php -m 执行后会多以下4个模块: mysqli mysqlnd...

SamXIAO ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部