文档章节

用MarioTCP库实现一个单机10亿级的百万并发长连接

mickelfeng
 mickelfeng
发布于 2017/08/21 14:06
字数 2126
阅读 58
收藏 1

注:如果用此服务器做变长data的传输,请在业务处理函数中为input buffer增加清空功能(一行memset搞定;也可以在mariotcp核心代码mario_network.c的read功能中增加,mariotcp为了追求性能极限没做此设置)。

MrioTCP,超级马里奥,顾名思义,他不仅高效,而且超级简易和好玩。同时他可以是一个很简洁的Linux C 开发学习工程。毫不夸张的说,如果全部掌握这一个工程,你会成为一个Linux C的牛人;当然,你也可以通过源码包的mario.c(maritcp服务器示例程序)来学习,可以很快入门上手进行linux C开发。

经过两个多月的测试(编写c++客户端测试及调优系统参数),测试结果得到单机最大带宽吞吐1000M,测试最高TCP长连接100万,每秒处理连接数达4万,此时系统压力load值很低。总之,它可以发挥一台服务器的最大极限以提供最高性能的服务;而且经过完备测试,运行稳定且占用系统资源非常少。

他是建立在Sourceforge上的一个开源项目,由源码的作者冯建华(JohnFong)发起。源码可以在Sourceforge上下载。

sourceforge下载:https://sourceforge.net/projects/mariotcp/files/latest/download

github下载:https://github.com/nicholaszj/marioTcp

Getting Started

用MarioTCP来建立一个性能强大的TCP服务器非常简易!

  工程源码包就是一个非常简洁的例子,生成了一个tcp服务器程序:maritcp。
  源码包中:
  mario.c是简易例子的main程序,直接make可以编译出maritcp,一个tcp服务器,业务逻辑只有一个功能:统计同时在线socket数、每隔1分钟输出一次。
  mario文件夹,MarioTCP的核心代码,make可以直接编译出静态的libmario.a。MarioTCP核心架构后续会介绍。
  test文件夹,是一个稍显简陋的客户端测试程序,通过与服务器建立连接、发送LOGIN包登陆服务器,此时maritcp服务器会使同时在线加1,客户端断开时服务器在线数减1。

现在讲一下如何定制一个自己业务逻辑的tcp服务器,只需五步:
  1、初始化SERVER
  SERVER *server = init_server(conf->port, conf->workernum, conf->connnum, conf->timeout, conf->timeout);
  传入参数分别是:
  服务器Listen端口,工作线程数,每个线程支持的连接数,读超时时间,写超时时间。
  workernum * connum 就是服务器支持的长连接数,一个worker可以轻松支持10万长连接。

2、实现业务逻辑函数并注册
  具体业务逻辑函数请见Function模块。可通过mario.h中定义的名为“regist_*”的函数来注册。
/*
  *  注册业务处理函数
  /
  void regist_akg_func(uint16 id, FUNC_PTR func);
  id可以是0-65535的任意数,此id封装在MarioTCP的协议中(见本文最后)。
  id的范围,可以根据业务逻辑来定制,例如maritcp通过protocol.h中定义的CMD结构体来设定:
  typedef enum _CMD {
  CMD_FUNCTION_BASE = 0x6100,
  CMD_FUNCTION_LOGIN = 0x6101
  } CMD;

如果你想为maritcp增加一个"say_hello"的服务,可以这么做:
  1)在CMD中增加:CMD_FUNCTION_SAY_HELLO = 0x602
  2) 在function中增加函数:
  sint32 say_hello(CONN c) {
  I)通过CONN来解析客户端发过来请求的参数
  II)将“hello”设定到c->out_buf
  III)bufferevent_write(c->bufev, c->out_buf, hrsp->pkglen);
  IV)return 0;
  }
  3)在mario.c中增加:regist_akg_func(CMD_FUNCTION_SAY_HELLO, say_hello);

怎么样?自己定制业务逻辑,还是很简单高效吧!

3、启动日志线程start_log_thread()
  MarioTCP的日志功能封装还不够好,在“go on 1.0.0”页面中继续讨论...

4、启动服务器start_server((void*) server);
  OK,一个可以支持100万甚至更多长连接的TCP服务器,诞生了!

 

Go On 1.0.0

第一个发布版本为0.9.9,尽管用这个包,通过几分钟就可以实现一个定制了你的业务逻辑的、稳定高效的TCP服务器,但是MarioTCP还有很多有待完善的地方,让我们一起尽快解决如下问题,让MarioTCP-1.0.0尽快发布!


1、MarioTCP协议如何优化
  为了使MarioTCP足够安全,规定了一个简易的MarioTCP协议,经过三次握手连接到MarioTCP的client,接下来发的包要求格式必须是“HEAD+Data”的形式,而HEAD结构体定义在mario_akg.h中:
  typedef struct _HEAD {
  uint32 stx;
  uint16 pkglen;
  uint16 akg_id;
  } HEAD;
  pkglen是整个包的长度,即“HEAD+Data”。
  akg_id及自定义的业务逻辑函数对应的id,例如“Getting Started”页面中的CMD_FUNCTION_SAY_HELLO
  stx是你自定义的协议密文,通过regist_stx(uint32 stx)来注册(见mario.c)

尽管MarioTCP的协议足够简单了,而且协议最开头的密文可以自定义,但是是否可以更简单或者无协议,以最大程度的方便开发使用,需要大家的建议和帮助!

2、日志系统过于死板
  MarioTCP有一套自成系统的日志功能,但是比较晦涩难懂。
  接下来再展开...

3、业务逻辑稳定性支持
  MarioTCP对于网络连接和读写,非常高效和稳定。
  但是MarioTCP的线程池是固定个数的,且是全局唯一初始化的,死掉的线程不可再重启;分配网络任务的Master线程不具备监听worker的功能,一个线程死掉了、任务却还会一直分配过来,造成服务堆积且不处理。如果业务逻辑如果非常复杂和低效,就会出现这个问题。
  在大型线上项目中,用到MarioTCP的地方,都会通过业务逻辑模块的监听、告警及程序自动处理来避免上述问题。由于时间问题还没有把此功能抽象到MarioTCP中。

  这件事情,近期我会抓紧处理。也希望有朋友建议和帮助!!

Why Supper

一、为什么超级高效
  1、网络服务用到的所有结构体和内存都是启动程序时初始化的,无销毁,无回收。
  无销毁好理解,不解释。
  无回收,是指所有内存单元拿来即用,用完及可,不用做reset操作。
  2、一个master线程进行accept
  经过测试发现多进程或线程进行accept和一个进程或线程accept,在极限压力下区别不大。
  一个master比多个master好在不用再通过锁来解决同步问题。
  3、master与worker时单一生产者消费者模式,完全无锁通信
  不光accept无锁,分配connection、后续的conncetion处理都是无锁的。
  甚至业务逻辑(见示例maritcp的统计在线数功能)、MarioTCP的日志系统(这也是日志系统抽象不够的一个原因,之前的设计太依赖于整体架构了)都是无锁处理的!
  4、一个worker一套libevent环境
  libevent处理10万长连接的网络读写事件,其性能达到最大化了。
  每个worker都独立一套libevent,这个结构经过测试,发现开销很小、性能很高。

二、单机百万长连接、四万cps(连接每秒)如何做测试得来
  1、设置系统最大文件数为unlimited
  2、设置系统的tcp内存内核参数到256M以上
  3、设置系统的ip到15个,那么可服务的长连接数理论上最少15*(65535-1024)个
  4、用epoll或libevent开一个可同时连接5w的客户端程序;程序还要实现每秒随机挑选1000个连接断掉,并再新创建1000个连接。另外在随机挑选几千连接发包。
  同时再多台机器上开启20个客户端,那么就是100w长连接,每秒2w个连接断掉、2w个新连接加入进来,并且有若干包发过来。
  5、设置服务端可重用SYN_WAIT的连接;客户端断连接的方式是主动断掉(防止客户端程序端口堆积)
  总之很折腾的一个测试,前前后后大约2个多月才测试完毕。
  以上内容凭记忆写的,怕有错误或疏漏,回头为了公布测试代码和测试结果给大家,会再次开发、测试并调整补过上述内容。

本文转载自:http://blog.csdn.net/shudaqi2010/article/details/67631860

mickelfeng

mickelfeng

粉丝 237
博文 2784
码字总数 604219
作品 0
成都
高级程序员
私信 提问
t-io 3.0.0 发布,不止是 30 万 TCP 长连接框架

t-io介绍请见:t-io官网 自问:为什么不是“百万级TCP长连接框架”而是30万了? 自答:t-io目前已经做过的测试中,最多只测到了30万个长连接(见:t-io 30W长连接并发压力测试报告),当测试...

talent-tan
2018/05/24
9K
142
一直再说高并发,多少QPS才算高并发?

一直再说高并发,多少QPS才算高并发?业务系统服务,单机,集群分别是多少呢? 高并发的四个角度 只说并发不提高可用就是耍流氓。可以从四个角度讨论这个问题。 首先是无状态前端机器不足以承...

春哥大魔王的博客
06/23
752
0
“撒币”狂欢在直播,如何成为稳定的大“撒币”平台? | 产品经理说第1篇

时隔十年后的撒币狂欢 2008年一部《贫民窟的百万富翁》把丹尼·博伊尔推到了电影殿堂的最高峰奥斯卡最佳外语片大奖,电影中把来自贫民窟的印度街头少年贾马勒刻画成靠知识走向成功殿堂的楷模...

OneAPM蓝海讯通
2018/01/24
21
0
Netty 长连接服务及Netty之JVM调优

DECEMBER 29TH, 2014 推送服务 Netty 是什么 瓶颈是什么 更多的连接 非阻塞 IO Java NIO 实现百万连接 Netty 实现百万连接 瓶颈到底在哪 如何验证 怎么去找那么多机器 讨巧的做法 更高的 QP...

tantexian
2016/11/28
2K
1
02、redis如何通过读写分离来承载读请求QPS超过10万+?

1、redis高并发跟整个系统的高并发之间的关系 redis,你要搞高并发的话,不可避免,要把底层的缓存搞得很好 mysql,高并发,做到了,那么也是通过一系列复杂的分库分表,订单系统,事务要求的...

一只小青蛙
05/30
58
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 我,小小编辑,食人族酋长

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @宇辰OSC :分享娃娃的单曲《飘洋过海来看你》: #今日歌曲推荐# 《飘洋过海来看你》- 娃娃 手机党少年们想听歌,请使劲儿戳(这里) @宇辰OSC...

小小编辑
今天
696
10
MongoDB系列-- SpringBoot 中对 MongoDB 的 基本操作

SpringBoot 中对 MongoDB 的 基本操作 Database 库的创建 首先 在MongoDB 操作客户端 Robo 3T 中 创建数据库: 增加用户User: 创建 Collections 集合(类似mysql 中的 表): 后面我们大部分都...

TcWong
今天
39
0
spring cloud

一、从面试题入手 1.1、什么事微服务 1.2、微服务之间如何独立通讯的 1.3、springCloud和Dubbo有哪些区别 1.通信机制:DUbbo基于RPC远程过程调用;微服务cloud基于http restFUL API 1.4、spr...

榴莲黑芝麻糊
今天
25
0
Executor线程池原理与源码解读

线程池为线程生命周期的开销和资源不足问题提供了解决方 案。通过对多个任务重用线程,线程创建的开销被分摊到了多个任务上。 线程实现方式 Thread、Runnable、Callable //实现Runnable接口的...

小强的进阶之路
昨天
74
0
maven 环境隔离

解决问题 即 在 resource 文件夹下面 ,新增对应的资源配置文件夹,对应 开发,测试,生产的不同的配置内容 <resources> <resource> <directory>src/main/resources.${deplo......

之渊
昨天
73
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部