文档章节

游戏服务器架构演进(完整版)

wier
 wier
发布于 2017/07/17 08:13
字数 4538
阅读 8110
收藏 345
点赞 22
评论 38

​这是王者荣耀技术分析系列第三篇,有兴趣请持续关注我的blog和公众号。

1、像《王者荣耀》一样红过

2、从《王者荣耀》来聊聊游戏的帧同步

3、游戏服务器的架构演进

 

一、游戏服务器特征

游戏服务器,是一个会长期运行程序,并且它还要服务于多个不定时,不定点的网络请求。所以这类服务的特点是要特别关注稳定性和性能。这类程序如果需要多个协作来提高承载能力,则还要关注部署和扩容的便利性;同时,还需要考虑如何实现某种程度容灾需求。由于多进程协同工作,也带来了开发的复杂度,这也是需要关注的问题。

功能约束,是架构设计决定性因素。基于游戏业务的功能特征,对服务器端系统来说,有以下几个特殊的需求:

游戏和玩家的数据存储落地

对玩家交互数据进行广播和同步

重要逻辑要在服务器上运算,做好验证,防止外挂。

针对以上的需求特征,在服务器端,我们往往会关注对电脑内存和CPU的使用,以求在特定业务代码下,能尽量满足高承载低响应延迟的需求。最基本的做法就是“空间换时间”,用各种缓存的方式来以求得CPU和内存空间上的平衡。另外还有一个约束:带宽。网络带宽直接限制了服务器的处理能力,所以游戏服务器架构也必定要考虑这个因素。

 

二、游戏服务器架构要素

    对于游戏服务端架构,最重要的三个部分就是,如何使用CPU、内存、网卡的设计:

内存架构:主要决定服务器如何使用内存,以最大化利用服务器端内存来提高承载量,降低服务延迟。

逻辑架构:设计如何使用进程、线程、协程这些对于CPU调度的方案。选择同步、异步等不同的编程模型,以提高服务器的稳定性和承载量。可以分区分服,也可以采用世界服的方式,将相同功能模块划分到不同的服务器来处理。

通信模式:决定使用何种方式通讯。基于游戏类型不同采用不同的通信模式,比如http,tcp,udp等。

 

三、服务器演化进程

1、卡牌等休闲游戏弱交互游戏

服务器基于游戏类型不同,所采用的架构也有所不同,我们先讲一下简单的模型,采用http通信模式架构的服务器:

这种服务器架构和我们常用的web服务器架构差不多,也是采用nginx负载集群支持服务器的水平扩展,memcache做缓存。唯一不同的地点不同的在于通信层需要对协议再加工和加密,一般每个公司都有自己的一套基于http的协议层框架,很少采用开源框架。

 

2、长链接游戏服务器

长连接游戏和弱联网游戏不同的地方在于,长连接中,玩家是有状态的,服务器可以时时和client交互,数据的传送,不像弱联网一般每次都需要重新创建一个连接,消息传送的频率以及速度上都快于弱联网游戏。长链接网游的架构经过几代的迭代,类型也变得日益丰富,以下为每一代服务器的特点以及架构模式。

 

1)、第一代网游服务器(单线程无阻塞)

最早的游戏服务器是1978年,英国著名的财经学校University of Essex的学生 Roy Trubshaw编写了世界上第一个MUD程序,叫做《MUD1》。

MUD1 是一款纯文字的世界,没有任何图片,但是不同计算机前的玩家可以在游戏里共同冒险、交流。与以往具有网络联机功能的游戏相比, MUD1是第一款真正意义上的实时多人交互的网络游戏,它最大的特色是能够保证整个虚拟世界和玩家角色的持续发展——无论是玩家退出后重新登录还是服务器重启,游戏中的场景、宝箱、怪物和谜题仍保持不变,玩家的角色也依然是上次的状态。

MUD中文版

MUDOS使用单线程无阻塞套接字来服务所有玩家,所有玩家的请求都发到同一个线程去处理,主线程每隔1秒钟更新一次所有对象(网络收发,对象状态,刷新地图,刷新NPC)。用户使用 Telnet之类的客户端用 Tcp协议连接到 MUDOS上,使用纯文字进行游戏,每条指令用回车进行分割。这样的系统在当时每台服务器承载个4000人同时游戏。从1991年的 MUDOS发布后,全球各地都在为他改进,扩充,推出新版本。

 

MUDOS中游戏内容通过 LPC脚本进行定制,逻辑处理采用单线程tick轮询,这也是第一款服务端架构模型,后来被应用到不同游戏上。后续很多游戏都是跟《UO》一样,直接在 MUDOS上进行二次开发,直到 如今,一些回合制游戏,以及对运算量小的游戏,依然采用这种服务器架构。

 

第一代服务器架构图:

线程模型


2) 、第二代网游服务器(分区分服)

2000年左右,随着图形界面的出现,游戏更多的采用图形界面与用户交互。此时随着在线人数的增加和游戏数据的增加,服务器变得不抗重负。于是就有了分服模型。分服模型结构如下:


分服模型是游戏服务器中最典型,也是历久最悠久的模型。在早期服务器的承载量达到上限的时候,游戏开发者就通过架设更多的服务器来解决。这样提供了很多个游戏的“平行世界”,让游戏中的人人之间的比较,产生了更多的空间。其特征是游戏服务器是一个个单独的世界。每个服务器的帐号是独立的,每台服务器用户的状态都是不一样的,一个服就是一个世界,大家各不牵扯。

后来游戏玩家呼吁要跨服打架,于是就出现了跨服战,再加上随着游戏的运行,单个服务器的游戏活跃玩家越来越少,所以后期就有了服务器的合并以及迁移,慢慢的以服务器的开放、合并形成了一套成熟的运营手段。目前多数游戏还采用分服的结构来架设服务器,多数页游还是采用这种模式。

线程调度

分服虽然可以解决服务器扩展的瓶颈,但单台服务器在以前单线程的方式来运行,没办法充分利用服务器资源,于是又演变出了以下2种线程模型。

异步-多线程,基于每个场景(或者房间),分配一个线程。每个场景的玩家同属于一个线程。游戏的场景是固定的,不会很多,如此线程的数量可以保证不会不断增大。每个场景线程,同样采用tick轮询的方式,来定时更新该场景内的(对象状态,刷新地图,刷新NPC)数据状态。玩家如果跨场景的话,就采用投递和通知的方式,告知两个场景线程,以此更新两个场景的玩家数据。

 

多进程。由于单进程架构下,总会存在承载量的极限,越是复杂的游戏,其单进程承载量就越低,因此一定要突破进程的限制,才能支撑更复杂的游戏。多进程系统的其他一些好处:能够利用上多核CPU能力、更容易进行容灾处理。

 

多进程系统比较经典的模型是“三层架构”,比如,基于之前的场景线程再做改进,把网络部分和数据库部分分离为单独的进程来处理,逻辑进程专心处理逻辑任务,不合IO打交道,网络IO和磁盘IO分别交由网路进程和DB进程处理。

 

3)、第三代网游服务器

之前的网游服务器都是分区分服,玩家都被划分在不同的服务器上,每台服务器运行的逻辑相同,玩家不能在不同服务器之间交互。想要更多的玩家在同一世界,保持玩家的活跃度,于是就有了世界服模型了。世界服类型也有以下3种演化:

 

一类型(三层架构)

网关部分分离成单端的gate服务器,DB部分分离为DB服务器,把网络功能单独提取出来,让用户统一去连接一个网关服务器,再有网关服务器转发数据到后端游戏服务器。而游戏服务器之间数据交换也统一连接到网管进行交换。所有有DB交互的,都连接到DB服务器来代理处理。


二类型(cluster)

有了一类型的经验,后续肯定是拆分的越细,性能越好,就类似现在微服务,每个相同的模块分布到一台服务器处理,多组服务器集群共同组成一个游戏服务端。一般地,我们可以将一个组内的服务器简单地分成两类:场景相关的(如:行走、战斗等)以及场景不相关的(如:公会聊天、不受区域限制的贸易等)。经常可以见到的一种方案是:gate服务器、场景服务器、非场景服务器、聊天管理器、AI服务器以及数据库代理服务器。如下模型:

 

以上中我们简单的讲下常见服务器的三种类型功能:

场景服务器:它负责完成主要的游戏逻辑,这些逻辑包括:角色在游戏场景中的进入与退出、角色的行走与跑动、角色战斗(包括打怪)、任务的认领等。场景服务器设计的好坏是整个游戏世界服务器性能差异的主要体现,它的设计难度不仅仅在于通信模型方面,更主要的是整个服务器的体系架构和同步机制的设计。

 

非场景服务器:它主要负责完成与游戏场景不相关的游戏逻辑,这些逻辑不依靠游戏的地图系统也能正常进行,比如公会聊天或世界聊天,之所以把它从场景服务器中独立出来,是为了节省场景服务器的CPU和带宽资源,让场景服务器能够尽可能快地处理那些对游戏流畅性影响较大的游戏逻辑。

 

网关服务器: 在类型一种的架构中,玩家在多个地图跳转或者场景切换的时候采用跳转的模式,以此进行跳转不同的服务器。还有一种方式是把这些服务器的节点都通过网关服务器管理,玩家和网关服务器交互,每个场景或者服务器切换的时候,也有网关服务器统一来交换数据,如此玩家操作会比较流畅。

通过这种类型服务器架构,因为压力分散了,性能会有明显提升,负载也更大了,包括目前一些大型的 MMORPG游戏就是采用此架构。不过每增加一级服务器,状态机复杂度可能会翻倍,导致研发和找bug的成本上升,这个对开发组挑战比较大,没有经验,很容出错。

 

三类型(无缝地图)

 魔兽世界的中无缝地图,想必大家印象深刻,整个世界的移动没有像以往的游戏一样,在切换场景的时候需要loading等待,而是直接行走过去,体验流畅。

现在的游戏大地图采用无缝地图多数采用的是9宫格的样式来处理,由于地图没有魔兽世纪那么大,所以采用单台服务器多进程处理即可,不过类似魔兽世界这种大世界地图,必须考虑2个问题:

1、多个地图节点如何无缝拼接,特别是当地图节点比较多的时候,如何保证无缝拼接

2、如何支持动态分布,有些区域人多,有些区域人少,保证服务器资源利用的最大化

为了解决这个问题,比较以往按照地图来切割游戏而言,无缝世界并不存在一块地图上面的人有且只由一台服务器处理了,此时需要一组服务器来处理,每台 Node服务器用来管理一块地图区域,由 NodeMaster(NM)来为他们提供总体管理。更高层次的 World则提供大陆级别的管理服务。


一个 Node所负责的区域,地理上没必要连接在一起,可以统一交给一个Node去管理,而这些区块在地理上并没有联系在一起的必要性。一个 Node到底管理哪些区块,可以根据游戏实时运行的负载情况,定时维护的时候进行更改 NodeMaster 上面的配置。

对象的无缝迁移


玩家A、B、C分别代表3种不同的状态,以及不同的迁移方式,我们分别来看。

  • 玩家A: 玩家A在node1地图服务器上,由node1控制,如果迁移到node2上,需要将其数据复制到node2上,然后从node1移除。
  • 玩家B: 玩家B在node1和node2中间,此时由node1和node2维护,若是从node1行走到node2的过程中,会向1请求,同时向2请求,待全部移动过去了再移除。
  • 玩家C:玩家C在node2地图服务器上,由node2控制,如果迁移到node1上,需要将其数据复制到node1上,然后从node2移除。

具体魔兽世界服务器的分析,篇幅过多,我们以后再聊。

 

3、房间服务器(游戏大厅)

房间类玩法和MMORPG有很大的不同,在于其在线广播单元的不确定性和广播数量很小。而且需要匹配一台房间服务器让少数人进入一个服务器。

这一类游戏最重要的是其“游戏大厅”的承载量,每个“游戏房间”受逻辑所限,需要维持和广播的玩家数据是有限的,但是“游戏大厅”需要维持相当高的在线用户数,所以一般来说,这种游戏还是需要做“分服”的。典型的游戏就是《英雄联盟》这一类游戏了。而“游戏大厅”里面最有挑战性的任务,就是“自动匹配”玩家进入一个“游戏房间”,这需要对所有在线玩家做搜索和过滤。

玩家先登录“大厅服务器”,然后选择组队游戏的功能,服务器会通知参与的所有游戏客户端,新开一条连接到房间服务器上,这样所有参与的用户就能在房间服务器里进行游戏交互了。

 

四、最后

游戏行业相对于互联网应用来说,其开放性和标准化并不完善,这就导致了很其他行业看游戏有一种神秘面纱,隐秘而封闭。

造成这个原因有很多,游戏业务的复杂性以及受众群体小是主要原因,它不像web应用天生有开源组织和社区基因的支持,也没有互联网行业的如此大的受众面和影响力,除了一些比较出名的游戏引擎以外其他的功能组建都是有各个游戏公司基于自己业务逻辑自己搭建,每个公司业务方向不同又加大了知识的流通以及标准的建立,这对整个生态的发展已经产生了制约,特别是那些想加入游戏行业的新人来说,准入门槛较高,网上可找到的学习资料也很少。

这种现象目前正在发生改变,除了受众群体越来越大和丰富以外,还有一些技术组织正在推进整个社区的进步。

比如每年一度的unity 技术大会,以及其他优秀的开源引擎都在积极推进整个游戏社区的创建,除了吸引更多优秀的技术人才和团队加入,这一切都让游戏行业变得越来越开放和规范,让行业内的知识也得以流通和继承。当然了,也期望每个游戏人能够加入进来,分享自己的知识,让自由开放的共享精神传承每个地方。

 

引用:

http://www.skywind.me/blog/archives/1265

http://gcloud.qq.com/forum/topic/56a0bac3a90d8b775e8f3c1b

----------------------------------------end-------------------------------------

关注个人成长和游戏研发,致力推动国内游戏社区的成长与进步。

想了解更多有料的游戏技术,请关注我的公众号,原创以及独到。

 

 

 

© 著作权归作者所有

共有 人打赏支持
wier
粉丝 657
博文 46
码字总数 122193
作品 0
东城
高级程序员
加载中

评论(38)

q
quiet00903
我这里看不见图片。。。不太爽
米鱼小生
米鱼小生
。。是不是可以这么理解:本质上来说:本质上来说:就是不断地根据实际业务,不断地拆,拆完后,分片与分片如何通讯?。。另外,文中提到过:协程在这过程中,是基于什么样的背景使用的?,不太明白
YANG_YAWEI
YANG_YAWEI

引用来自“YANG_YAWEI”的评论

分区分服要是都做成像 dota2 那样就方便了

引用来自“wier”的评论

dota2那个是基于地区了,不太一样
dota2 的应该更复杂吧,只要网络允许,可以任意连接任何一个区域的服务器
OSCharles
OSCharles

引用来自“OSCharles”的评论

能否介绍下为啥Android与IOS不能同服、同战队么?问题在哪儿?

引用来自“wier”的评论

这个属于业务逻辑,android和ios的审核机制,周期不一致,所以一般都是分开的
谢谢
wier
wier

引用来自“OSCharles”的评论

能否介绍下为啥Android与IOS不能同服、同战队么?问题在哪儿?
这个属于业务逻辑,android和ios的审核机制,周期不一致,所以一般都是分开的
OSCharles
OSCharles
能否介绍下为啥Android与IOS不能同服、同战队么?问题在哪儿?
Adpex
Adpex

引用来自“大连馋师”的评论

留爪~

引用来自“wier”的评论

请把你的爪留个公众号
我明白了,我看混了,因为你前面还有两个章节我也读过,刚好想了解下手机网游的服务器技术,拜读了
Adpex
Adpex

引用来自“Adpex”的评论

:sweat:开源中国陷入时间循环了?我第二次看到这个文章了,昨天也有。。

引用来自“wier”的评论

是么
:sweat:真的,以前看过,上几周的事情了,那时候我也是在首页看到的
wier
wier

引用来自“YANG_YAWEI”的评论

分区分服要是都做成像 dota2 那样就方便了

引用来自“SonivelY”的评论

dota2服务器经常蹦:laughing:
完美的运营的实在是....
wier
wier

引用来自“YANG_YAWEI”的评论

分区分服要是都做成像 dota2 那样就方便了

引用来自“SonivelY”的评论

dota2服务器经常蹦:laughing:
对完美的运营无语,太坑了
架构技术实践系列文章

架构技术实践系列文章: 长虹李玮:老牌消费电子企业如何拥抱Docker 徐汉彬:日请求过亿的Web系统PHP7升级实践 窦威:AcFun的视频架构演化实践 傅鸿城:QQ亿级日活跃业务后台核心技术揭秘 宁...

cccyb ⋅ 2016/06/16 ⋅ 0

Linux Mangaka Mou 发布,桌面 Linux 发行

Linux Mangaka Mou 发布,此版本基于 Ubuntu 和轻量级 MATE 桌面,支持 PowerPC 64 位架构脚本,可以在任意的 64 位 PC 上运行。更多改进内容请看发行说明。Download (MD5): linux-mangaka-m...

oschina ⋅ 2015/09/22 ⋅ 1

ECUG云技术大会日程首度公开,错过这样的豪华阵容也许要再等十年

云平台架构、容器与微服务、大数据、AI...... 随着应用场景的不断复杂,“云”领域的技术人员也要广泛涉猎,习得十八般武艺 以防止在不断变化的技术发展中落后于行业 ECUG 就是你所需要的,一...

ra681t58cjxsgckj31 ⋅ 2017/12/06 ⋅ 0

企业IT架构转型之道 读书笔记1

经高人推荐,所以买了一本学习下,争取两周读完,这一周读了一半左右。不过我读书慢,写读书笔记更慢,不知道要花多少时间能写完。 这本书是讲阿里巴巴中台战略和架构的书,看起来似乎和敏捷...

越爸刘伯 ⋅ 01/07 ⋅ 0

大型网站技术架构的演进

最近我在阅读2本关于大型网站架构的书:《大型网站技术架构——核心原理与案例分析》李智慧、《大型网站系统与Java中间件实践》曾宪杰。 我期望从这些书中学习到大型网站是如何做架构的,这个...

翟志军 ⋅ 2015/03/20 ⋅ 18

“支付宝架构师”这样讲述:大型网站技术架构的演进

最近我在阅读 2 本关于大型网站架构的书:《大型网站技术架构——核心原理与案例分析》李智慧、《大型网站系统与 Java 中间件实践》曾宪杰。 我期望从这些书中学习到大型网站是如何做架构的,...

高级架构师 ⋅ 04/28 ⋅ 0

cocos2d-x横版动作手游《口袋仙侠》商用版正式开源

【9秒原创】Firefly + cocos2d-x的横版rts手机网游《口袋仙侠》alpha V1.0 商用版本完整源码下载 特别声明: 1、《口袋仙侠》项目基于MIT协议,9秒社团团队允许任何厂商及个人对其进行修改和...

大鸡蛋 ⋅ 2014/03/19 ⋅ 69

有观点的云技术盛会——ECUG Con 精彩议题公布(文末彩蛋)

作为国内云计算领域的风向标,今年的 ECUG Con 将于 12 月16-17 日在上海召开,领域内的各界大佬汇聚一堂,准备为 ECUG 十周年献上一场最高规格的技术盛宴。超豪华讲师阵容如下: 许式伟——...

ra681t58cjxsgckj31 ⋅ 2017/11/29 ⋅ 0

小型网站到大型网站技术演进过程

网站技术架构为什么会演进 我个人总结出来我们的技术架构演进的两种驱动力,驱动着我们为什么演进网站的技术架构: 1. 内在驱动力:我们期望把当前的业务做得更好,开发更多新业务 2. 外在驱...

不正经啊不正经 ⋅ 2015/05/21 ⋅ 0

分享一个开源的网络游戏服务器架构—HouHai

HouHai是一个开源的网络游戏的服务器端架构,它使用了开源的RPC中间件Tatala。(介绍) HouHai下载地址 https://github.com/zijan/HouHai 现在,源代码只是一个草案,不能编译,为网游后台开...

zijan ⋅ 2014/04/10 ⋅ 3

没有更多内容

加载失败,请刷新页面

加载更多

下一页

那些证书相关的玩意儿(SSL,X.509,PEM,DER,CRT,CER,KEY,CSR,P12等)

之前没接触过证书加密的话,对证书相关的这些概念真是感觉挺棘手的,因为一下子来了一大堆新名词,看起来像是另一个领域的东西,而不是我们所熟悉的编程领域的那些东西,起码我个人感觉如此,且很长...

颖辉小居 ⋅ 17分钟前 ⋅ 0

利用有限制通配符提升API灵活性(28)

1、参数化类型是不可变的 List<String> 不是List<Object>的子类,但是二者是有联系的 利用有限制的通配符类型处理类似情况 List<? extends Object>(生产者) Collection<? super E>(消费者......

职业搬砖20年 ⋅ 23分钟前 ⋅ 0

ssm框架 +bootstrap分页

这里有两种方式 方式一:自己写分页 方式二:使用插件PageHelper 1.自己写分页 1.1 效果 1.2 实现过程 1.2.1 创建分页公共类 //---------------------------1.属性-------------------------...

Lucky_Me ⋅ 30分钟前 ⋅ 0

Istio

helm template install/kubernetes/helm/istio --name istio --namespace istio-system > $HOME/istio.yaml after $ kubectl create namespace istio-system$ kubectl create -f $HOME/ist......

openthings ⋅ 31分钟前 ⋅ 0

内核线程、轻量级进程、用户线程

线程与进程概念 在现代操作系统中,进程支持多线程。 进程是资源管理的最小单元; 线程是程序执行的最小单元。 即线程作为调度和分配的基本单位,进程作为资源分配的基本单位 一个进程的组成...

117 ⋅ 36分钟前 ⋅ 0

elasticsearch2.4.6升级为elasticsearch-5.5.0的经历

将elasticsearch-5.5.0 中的配置 path.data 指向原来的数据路径 即 path.data: /usr/local/src/elasticsearch-2.4.6/data 注意: elasticsearch-5.5.0 需要将jdk版本升级到1.8...

晨猫 ⋅ 36分钟前 ⋅ 1

lvm讲解 磁盘故障小案例

1

oschina130111 ⋅ 41分钟前 ⋅ 0

那些提升开发人员工作效率的在线工具

本文转载自公众号 Hollis 作为一个Java开发人员,经常要和各种各样的工具打交道,除了我们常用的IDE工具以外,其实还有很多工具是我们在日常开发及学习过程中要经常使用到的。 Hollis偏爱使用...

时刻在奔跑 ⋅ 53分钟前 ⋅ 0

restful风格 实现DELETE PUT请求 的web.xml的配置

import org.springframework.beans.factory.annotation.Autowired; import org.springframework.http.HttpStatus; import org.springframework.http.ResponseEntity; import org.springframe......

泉天下 ⋅ 58分钟前 ⋅ 0

Shell数组

Shell数组 Shell在编程方面比Windows批处理强大很多,无论是在循环、运算。 bash支持一维数组(不支持多维数组),并且没有限定数组的大小。类似与C语言,数组元素的下标由0开始编号。获取数...

蜗牛奔跑 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部