文档章节

多路复用实现单服百万级别RPS吞吐

泥水佬
 泥水佬
发布于 2018/10/22 14:12
字数 1158
阅读 2925
收藏 48

多路复用其实并不是什么新技术,它的作用是在一个通讯连接的基础上可以同时进行多个请求响应处理。对于网络通讯来其实不存在这一说法,因为网络层面只负责数据传输;由于上层应用协议的制订问题,导致了很多传统服务并不能支持多路复用;如:http1.1,sqlserver和redis等等,虽然有些服务提供批量处理,但这些处理都基于一个RPS下。下面通过图解来了解释单路和多路复用的区别。

单路存在的问题

每个请求响应独占一个连接,并独占连接网络读写;这样导致连接在有大量时间被闲置无法更好地利用网络资源。由于是独占读写IO,这样导致RPS处理量由必须由IO承担,IO操作起来比较损耗性能,这样在高RPS处理就出现性能问题。由于不能有效的合并IO也会导致在通讯中的带宽存在浪费情况,特别对于比较小的请求数据包。通讯上的延时当要持大量的RPS那就必须要有更多连接支撑,连接数增加也对资源的开销有所增加。

多路复用的优点

多路复用可以在一个连接上同时处理多个请求响应,这样可以大大的减少连接的数量,并提高了网络的处理能力。由于是共享连接不同请求响应数据包可以合并到一个IO上处理,这样可以大大降低IO的处理量,让性能表现得更出色。

通过多路复用实现百万级RPS

多路复用是不是真的如此出色呢,以下在.net core上使用多路复用实现单服务百万RPS吞吐,并能达到比较低的延时性。以下是测试流程:

由于基础通讯不具备消息包合并功能,所以在BeetleX的基础上做集成测试,主要BeetleX会自动合并消息到一个Buffer上,从而降低IO的读写。

测试消息结构

本测试使用了Protobuf作为基础交互消息,毕竟Protobuf已经是一个二进制序列化标准了。

请求消息

        [ProtoMember(1)]
        public int ID {  get; set; }
        [ProtoMember(2)]
        public Double RequestTime { get; set; }

响应消息

        [ProtoMember(1)]
        public int EmployeeID { get; set; }
        [ProtoMember(2)]
        public string LastName { get; set; }
        [ProtoMember(3)]
        public string FirstName { get; set; }
        [ProtoMember(4)]
        public string Address { get; set; }
        [ProtoMember(5)]
        public string City { get; set; }
        [ProtoMember(6)]
        public string Region { get; set; }
        [ProtoMember(7)]
        public string Country { get; set; }
        [ProtoMember(8)]
        public Double RequestTime { get; set; }

** 服务端处理代码**

        public static void Response(Tuple<IServer, ISession, SearchEmployee> value)
        {
            Employee emp = Employee.GetEmployee();
            emp.RequestTime = value.Item3.RequestTime;
            value.Item1.Send(emp, value.Item2);
            System.Threading.Interlocked.Increment(ref Count);
        }
        public override void SessionPacketDecodeCompleted(IServer server, PacketDecodeCompletedEventArgs e)
        {
            SearchEmployee emp = (SearchEmployee)e.Message;
            multiThreadDispatcher.Enqueue(new Tuple<IServer, ISession, SearchEmployee>(server, e.Session, emp));
        }

服务响应对象内容

            Employee result = new Employee();
            result.EmployeeID = 1;
            result.LastName = "Davolio";
            result.FirstName = "Nancy";
            result.Address = "ja";
            result.City = "Seattle";
            result.Region = "WA";
            result.Country = "USA";

接收消息后放入队列,然后由队列处理响应,设置请求相应请求时间并记录总处理消息计数。

客户端请求代码

        private static void Response(Tuple<AsyncTcpClient, Employee> data)
        {
            System.Threading.Interlocked.Increment(ref mCount);
            if (mCount > 100)
            {
                if (data.Item2.RequestTime > 0)
                {
                    double tick = mWatch.Elapsed.TotalMilliseconds - data.Item2.RequestTime;
                    AddToLevel(tick);
                }
            }
            var s = new SearchEmployee();
            s.RequestTime = mWatch.Elapsed.TotalMilliseconds;
            data.Item1.Send(s);
        }

客户端测试发起代码

            for (int i = 0; i < mConnections; i++)
            {
                var client = SocketFactory.CreateClient<BeetleX.Clients.AsyncTcpClient, TestMessages.ProtobufClientPacket>(mIPAddress, 9090);
                client.ReceivePacket = (o, e) =>
                {
                    Employee emp = (Employee)e;
                    multiThreadDispatcher.Enqueue(new Tuple<AsyncTcpClient, Employee>((AsyncTcpClient)o, emp));
                };
                client.ClientError = (o, e) =>
                {
                    Console.WriteLine(e.Message);
                };
                mClients.Add(client);
            }
            for (int i = 0; i < 200; i++)
            {
                foreach (var item in mClients)
                {
                    SearchEmployee search = new SearchEmployee();
                    Task.Run(() => { item.Send(search); });
                }
            }

整个测试开启了10个连接,在这10个连接的基础上进行请求响应复用。

测试配置

测试环境是两台服务器,配置是阿里云上的12核服务器(对应的物理机应该是6核12线程)

服务和客户端的系统都是:Ubuntu 16.04

Dotnet core版本是:2.14

测试结果

客户端统计结果

服务端统计信息

带宽统计

测试使用了10个连接进行多路复用,每秒接收响应量在100W,大部分响应延时在1-3毫秒之间

下载测试代码

© 著作权归作者所有

共有 人打赏支持
泥水佬

泥水佬

粉丝 72
博文 86
码字总数 56002
作品 7
广州
架构师
私信 提问
加载中

评论(2)

泥水佬
泥水佬

引用来自“石头捡到布”的评论

流量监控工具是什么?
阿里云自带的
石头捡到布
石头捡到布
流量监控工具是什么?
单线程多路复用和多线程加锁的区别(Redis)

单线程多路复用和多线程加锁的区别 unix linux c golang Deen 2015年11月21日提问 关注 9 关注 收藏 1 收藏,776 浏览 问题对人有帮助,内容完整,我也想知道答案0问题没有实际价值,缺少关键...

tantexian
2016/06/06
775
0
滴滴开源基于 RocketMQ 的分布式消息队列 DDMQ

近日滴滴开源了消息队列 DDMQ。 DDMQ 是基于 Apache RocketMQ 的分布式消息队列,滴滴介绍其在内部已经被广泛使用,内部稳定运行了两年多时间,为滴滴出行包括网约车、小桔车服、地图、金融、...

h4cd
01/17
0
0
令仔学Redis(二)----单线程架构

Redis是一种基于键值对(key-value)的NoSQL数据库,包含多种数据结构。官网上给出的数字是读写性能可以达到10万/秒,可见速度之快。 做个简单的例子,同时开启5个redis客户端,同时执行下面...

令仔很忙
2017/05/08
0
0
【NIO系列】——之Reactor模型

在开篇之前,我们对JavaNIO 的使用方式不做过多介绍,这种API的介绍方式网上太多了,没必要详细介绍,我们假设NIO的使用方式,你能够熟练运用。这是NIO系列第三篇: 【NIO系列】——之TCP探秘...

wier
2018/07/11
0
2
阿里云MaxCompute被Forrester评为全球云端数据仓库领导者

参考消息网3月19日报道 日前,全球权威调研机构佛瑞斯特研究公司(Forrester)发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能、区域表现、细分市场和典型客户等进行了...

隐林
2018/04/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

学习设计模式之路

https://java-design-patterns.com/patterns/ https://www.oodesign.com/ https://www.programering.com/a/MTNxAzMwATY.html https://design-patterns.readthedocs.io/zh_CN/latest/ https:/......

晨猫
42分钟前
1
0
JDK1.8 jar包说明

JDK 1.8 lib:access-bridge-64.jarcharsets.jarcldrdata.jardeploy.jardnsns.jarjaccess.jarjavawa.jarjce.jarjfr.jarjfxrt.jarjfxswt.jarjsse.jarlocaledata.jar......

冷基
45分钟前
1
0
判断用户的icloud是否开启【Swift4.2】

使用icloudkit存储用户私人数据时,必须判断用户的icloud是否开启【Swift4.2】 func isICloudContainerAvailable()-> Bool { if FileManager.default.ubiquityIdentityToken != ni......

叶落花开
今天
1
0
今天的学习

1、执行git add *命令就把改动提交到了暂存区,执行git pull命令将远程仓库的数据拉到当前分支并合并,执行git checkout [branch-name]切换分支 2、执行git commit -m '说明' 命令就把改动提...

墨冥
昨天
0
0
Android4.4 及以下TextView,Button等控件使用矢量图报错

1 问题描述 最近项目开发中,图标资源我尽量使用了矢量图,然而配置了基本的兼容设置,程序在低版本中运行还是出现了问题。 xml布局文件中,在TextView中使用矢量图,比如android:drawableS...

newtrek
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部