我在网易云信是如何做运维的
我在网易云信是如何做运维的
网易云信 发表于1年前
我在网易云信是如何做运维的
  • 发表于 1年前
  • 阅读 92
  • 收藏 0
  • 点赞 0
  • 评论 2

华为云·免费上云实践>>>   

先介绍下网易云信运维工程师的主要职责,包括但不限于软硬件部署、网络管理、应用代码维护、安全漏洞修复、容量规划、故障处理、性能优化等。

云信的运维工程师们很相信一个神圣的定律——墨菲定律:事情如果有变坏的可能,不管这种可能性有多小,它总会发生(Anything that can go wrong will go wrong)。根据墨菲定律的推论,任何一个环节都不是100%靠谱的。而对于云信这样的及时通讯云平台来说,核心功能保证99.99%的可靠性,也就是说,一年不可用时长要小于52分钟。因此容灾是必不可少的,需要把容灾做到方方面面。

首先,硬件资源都是冗余的,主要包括以下几点:

  1. 服务器:双电源,双网卡bonding,系统盘raid10
  2. 机柜:双电路接入,电源容量充足
  3. 交换机:接入交换机堆叠并且单个交换机网卡bonding
  4. 网络:核心路由器/核心交换机冗余
  5. IDC:到各ISP的光纤要大于等于两条
  6. 运维人员:应用运维、系统运维、DBA所有角色一主一备。

其次,整个应用架构的容灾,主要包含以下几个层次:

  1. 接入层:云信使用了ospf+nginx做为了前端接入集群的负载均衡,所有nginx机器配置统一,upstream配置里添加了到后端服务器(大于1个)的健康检查
  2. 应用层:各集群服务器无单点,并且保证服务器分布在不同机柜,不同交换机
  3. 中间件:hbase本身就是分布式系统,其他中间件云信也做了高可用改造
  4. 数据库:做为架构中最核心的一环,数据库的容灾设计也是最完善的。数据库支持主从同步,主库挂了之后,可以1分钟内自动切到从库,并且能够保证数据一致性

最后,你会问我要是IDC机房挂了怎么办?运维人员如何做到业务运行状况了如指掌?

这个时候,就需要一个强大、好用的监控系统了,监控是稳定性建设的基石;网易IM云使用网易自研的哨兵监控系统,意指向哨兵一样迅速发现并相应异常状态。我们使用哨兵做了以下几个维度的监控:

一、在监控完整性方面,自上而下做了业务监控、应用监控、基础监控,相关监控项类型如下

如某业务指标的监控趋势图

二、在监控有效性方面,通过哨兵监控系统,报警有效性达到90%以上

  1. 监控数据采集、数据上报有效:数据采集失败、数据不能上报监控agent的监控采集器每天以报表形式发送到运维负责人,运维负责人进行修改
  2. 报警发送方式(短信、邮件等)、报警接收人有效:每天统计短信、邮件及其他渠道的报警发送量,有异常变化(突增或者为0)以报表通知到运维负责人修改
  3. 报警1分钟内到达:对自身发送器进行监控,消息堆积时及时处理解决

三、是哨兵的报警收敛功能。哨兵通过增加报警重试次数,集群报警合并等手段进行报警收敛,有效的避免了服务器数量级达到一定程度后,过多的报警会让人麻痹,进而忽略掉了真正有效的报警。

然而,虽然做了以上的工作来预防故障、快速发现故障,但故障的发生还是在所难免的,一个合适的故障处理流程能够有效的缩短故障处理时长。现在来看看云信的故障处理流程:

为了避免在遇到故障时,故障处理人员手忙脚乱,相关人员配合不到位,加长故障时长,会定期进行故障演练;验证业务容灾能力,监控报警是否可达,人员应急处理能力。

 

一个产品随着业务的日益复杂,应用系统会变的错综复杂。所以产品的运维标准化是必须的。有人会问,1个人运维10台服务器和运维1000台服务器,哪个更难一些?如果监控方式、部署方式无任何规律,1个人要支撑10台服务器就已经疲于应付;相反,如果所有的服务,都是同样的监控方式、部署方式,那么1个人运维1000台服务器,也是轻松愉快的。所以当IM云的服务器数量达到一定规模时,为了提高运维效率,解决运维管理混乱的难题,我们制定了线上运维规范,包括但不限于以下几个方面:

  1. 应用部署规范:一台机器只部署一个应用;规范文件与目录结构,我们所有应用代码都在不同服务器的同一目录下,降低由于文件数量众多带来的运维风险,保证生产服务环境的整洁
  2. 日志运维规范:对日志输出目录、命名、格式、分割和归档进行了规范性约束。应用相关的日志统一存放在当前应用目录结构下面的logs目录。能够方便而有效地进行应用服务的多维度监控、应用日志分析,以及提升故障发现率。
  3. 代码发布规范:为减少代码上线引发的事故,提高代码上线效率。代码有固定的发布窗口,发布前必须进行发布审核,并且有完善且可执行的回滚方案
  4. 监控和报警规范:云信所有应用包含基础监控和应用监控;以及云信自身的业务指标监控。报警内容清晰明确,报警接收人有效且保证在两人以上
  5. 账号和权限规范:系统管理员使用root权限;代码发布使用公共账号权限;普通开发人员使用个人账号权限,个人账号权限不能在服务器上执行除家目录之外的写操作

 

无专职运维团队的企业,有哪些替代方案可以提高开发运维效率?

为了减少运维管理的成本,一定要做应用部署的隔离,有运维团队的公司会选择传统的虚拟化技术(kvm,lxc)对物理机进行初始化,现在业界比较流行的是物理机上运行Docker容器对服务进行隔离;也可以选择直接使用云计算公司提供的服务器资源。服务器的账号权限配置,软件环境配置等配置管理可以使用puppet来管理;代码部署方面可以使用gitlab+pipeline替代方案;监控系统业界比较常用的是开源的zabbix;持续集成通常使用jenkins;自动化运维工具比较流行的是使用ansible;提高应用的故障容错能力可使用Netflix Hystrix。以上部分工具,网易目前也同样在使用,而且很好用;关于工具的使用方式,google有比较成熟的文档,大家可以按需调研学习。

最后必须说一句:一个可运维、方便运维的产品,开发同学的投入功不可没。

共有 人打赏支持
粉丝 23
博文 6
码字总数 12243
评论 (2)
辽原逍遥梦
yun.im意为 云信、网易云信、云通信、云通讯、短信平台!
辽原逍遥梦
http://yun.im/意为 云信、网易云信、云通信、云通讯、短信平台!QQ号 570444708
×
网易云信
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: