文档章节

企业处理事件风暴的 2 种最佳管理方法

OneAPM蓝海讯通
 OneAPM蓝海讯通
发布于 2016/02/24 17:25
字数 1687
阅读 51
收藏 1

Moogsoft 的员工 Steve Burton 曾分享过一个非常极端但不少见的事例:有个服务提供商 4 万台服务器每小时生成超过 60 万个事件,而且其中有 4.7 万张帮助工单,每月有 2000 次以上的二级升级。也就是说,每天都有 66 次升级,不过这还不是最糟糕的。最糟的是,这 4.7 万张帮助工单须由几百号人进行手动分析、排列优先级以及分类。

#####现阶段事件管理现状

目前,IT运营中的事件管理 ( Event management ) 是手动的、劳动密集型的(因此成本高昂)活动,难以扩展。企业每年要在事件风暴管理上花掉 7000 万 rmb 以上,以期能在生产业务受到冲击之前发现异常现象和意外事件。

过去,事件数量相对较小且变化幅度不大,企业通常采用 IBM Netcool 或 CA Spectrum 等传统管理系统进行事件管理。IT 运营团队会制定并维护一些基本规则和筛选方法,从而聚合事件或使事件关联(例如,若事件 A 和事件 B 同时发生,则将两个事件合并以创建事件 C )。在 IT 运营仅需处理几百个熟知的事件时,这种事件管理形式是可行的。不幸的是,如今的 IT 运营团队面临的是几百万个事件,没有一个人能足够迅速地制定规则或筛选方法来处理这些庞大的事件。这就解释了为什么如今 IT 运营非常重视机器学习和数据科学,以及 LZ 在 Steve Burton 对事件管理问题的两种解决方法进行对比的基础上进行整理的理由。

#####事件风暴及传统解决办法

下图为事件简图,展示了典型的一级或企业监控团队可能遇到的情况。此图展示了多种事件源工具,并包含在同一天内由各种事件源工具引起的事件。

企业处理事件风暴的 2 种最佳管理方法

大多数企业会用一级运营团队手动逐个分析上面 93 个事件,并为重要的或反常的事件创建工单。

######该方法需面临的挑战

  • 运营团队需要花超过 30 分钟发现异常
  • 因不同运营团队所分析的事件源可能不同,故运营团队缺乏态势感知和关联信息
  • 工单与事件比值较高
  • 工单重复率较高
  • 工单检查团队人力消耗较大

#####事件聚合

解决上述问题的一种途径是将一级运营团队需要完成的事件分析部分自动化。OneAlert 等供应商通过事件聚合完成这一工作,即通过事件源(如 Nagios)将事件告警整合起来,并利用主机 ID 和时间等元素减少事件、进行事件归类并以单个事件的形式呈现多种事件。

例如,通过事件风暴示例可见,事件聚合可用于减少这 93 个不同的事件,并将其分类为 15 个单独事件。

企业处理事件风暴的 2 种最佳管理方法

这样就不再需要一级运营团队分析 93 个不同告警,只需分析 15 个事件,工作量降低了84%。

######事件聚合的优点

  • 在一些事件源较多的应用环境下非常好用(例如:事件源 < 5 且主机数 < 100 )
  • 缩短运营商发现问题所需的时间
  • 降低工单与事件的比值

######事件聚合遇到的挑战

  • 运营团队仍然缺乏对事件源的态势感知,因此仍可能出现重复工单和重复的故障排查
  • 对于千变万化的高度动态环境,事件聚合中使用的时间窗(如一小时)可能太长。
  • 在包含大量糟糕事件源的较大应用环境中(例如,事件源 5 且主机数 100 ),仍然存在严重的生产力消耗。

#####事件关联

另一种事件管理方法就是,使用机器学习算法(如 Moogsoft )减少并关联不同事件源的事件。具体方法为:语汇单元化、分析各事件中的自然语言,并寻找各种相关属性、模式以及可推断的异常情况。例如,采用拓扑算法验证事件的相关网络邻近性,此外还可将时间或语言算法用于语言相似度分析。

在同一事件风暴示例中可以看出,通过事件关联,可将这 93 个不同事件分组为 2 个单独事件:

企业处理事件风暴的 2 种最佳管理方法

这样就不再需要一级运营团队逐个分析 93 个不同警告,仅需分析两个事件,工作量减少了 98%。

######事件关联的优点

  • 非常适用于包含大量事件源的应用环境(例如:事件源 5 且主机数 100 )
  • 运营团队对于事件源有完全的态势感知,因此重复工单数能降至最少
  • 缩短运营团队发现问题所需时间
  • 降低工单与事件的比值
  • 降低重复工单的出现频率
  • 减少工单检查团队的生产力消耗

######事件关联中的挑战

  • 不适用包含少量嘈杂事件源的小应用环境(例如:事件源 < 5 且主机数 < 100 )
  • 整合多重事件源
  • 机器学习算法可能需要根据具体环境进行协调优化

现在你应该明白,如今的事件管理对于企业和服务供应商来说仍然存在很大的问题,每年几乎都要耗费他们几千万 rmb 的劳务费用。尽管 IT 运营团队能使用软件进行事件聚合和关联,但是两种方式也都各有利弊。

对你来说最管用的方法是什么呢?

OneAlert 是北京蓝海讯通科技有限公司旗下产品,是国内第一个 SaaS 模式的云告警平台,集成国内外主流监控/支撑系统,实现一个平台上集中处理所有 IT 事件,提升 IT 可靠性。想了解更多信息,请访问 OneAlert 官网,欢迎免费注册体验 。

本文转自 OneAPM 官方博客

© 著作权归作者所有

OneAPM蓝海讯通
粉丝 94
博文 631
码字总数 1266889
作品 0
海淀
私信 提问
告警信息大爆炸,运维解放秘籍!

信息大爆炸的时代,互联网企业的运维人员每天都要处理成千上万的信息。如何处理这种纷繁复杂的情况?面对各种运维事件,想获得足够的告警信息,单一的监控系统往往是不够的。而告警的问题若得...

OneAPM蓝海讯通
2015/12/03
67
0
Google 和 Facebook 如何大规模处理 IT 事件管理 —— 2016 SRE 大会之我

【编者按】本文作者为 Maria Arbisman,主要介绍 Google 与 Facebook 两大巨头是如何大规模处理 IT 事件管理。文章系国内 [ITOM][1] 管理平台 [OneAPM][2] 编译呈现。 [2016 年举办的可靠性工...

OneAPM蓝海讯通
2016/06/15
27
0
安恒玄武盾进军澳洲,进一步垒实国际化进程

  引言:风暴中心与AustraliaDelivery Untied Group Pty Ltd达成生态合作,实现全球化网络安全服务。   近年来,新晋“速度”——外卖登上生活热门,颇受大众的青睐。外卖行业的火爆,带...

FreeBuf
2018/07/04
0
0
[运维] 第二篇:数据中心运维IT运维项目建设之我见

运维项目千千万,今天重点讲一下IT服务管理的项目,也是在过去几年各个企业数据中心都在建设的东东:ITIL、综合监控和运维自动化。先看ITIL逻辑架构图: 这是根据ITIL最佳实践理论和企业运维...

lawsonduan
2016/08/11
0
0
十大要点助制造商有效应对数字化转型挑战

数字化转型的浪潮席卷全球,制造商不进则退。但任何变革都不可能是一蹴而就,制造商必须静下心来,认真面对转型带来的挑战,这包括人力、系统、运营和商业模式、物流供应链管理等各个方面。 ...

玄学酱
2018/04/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

手写RPC框架指北另送贴心注释代码一套

Angular8正式发布了,Java13再过几个月也要发布了,技术迭代这么快,框架的复杂度越来越大,但是原理是基本不变的。所以沉下心看清代码本质很重要,这次给大家带来的是手写RPC框架。 完整代码...

全菜工程师小辉
12分钟前
2
0
【Java】开发收货

简介 谨以此篇,记载开发过程中的一些tips。 编译器 【Shift + F6】可实现变量的联动修改。

Areya
29分钟前
5
0
DOM官方定义

DOM Document Object Model 文档对象模型 DOM的官方定义:W3C的DOM,可以使程序或者脚本(JS或AS\JScript),动态的访问或者操作文档的内容、结构、样式。 DOM只是一个标准,操作网页的标准。...

前端老手
34分钟前
6
0
IT兄弟连 HTML5教程 HTML5的学习线路图 第一阶段学习网页制作

学习HTML5技术可并不是简单学会几个新增的标签而已,HTML5现在可以说是前端所有技术的代名词。需要学习的语言和工具不仅多,对于刚接触他们的新人会感觉很乱。另外,前端开发也会细分很多个开...

老码农的一亩三分地
36分钟前
6
0
可见性有序性,Happens-before来搞定

写在前面 上一篇文章并发 Bug 之源有三,请睁大眼睛看清它们 谈到了可见性/原子性/有序性三个问题,这些问题通常违背我们的直觉和思考模式,也就导致了很多并发 Bug 为了解决 CPU,内存,IO ...

tan日拱一兵
51分钟前
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部