AI Powered SLS 智能分析能力创新

原创
2023/12/19 17:58
阅读数 8

AIOps 为运维工作带来革命式变革

随着云计算技术不断升级,承载业务的 IT 基础设施规模扩大,各个应用之间的链路关系变得越来越复杂,每时每刻都在产生海量级的日志。对日志数据的采集、存储与分析处理方式,是衡量企业系统数字化程度的重要标志。传统的 IT 运维方案也会面临非常大的挑战,对于 DevOps 来说,需要花费数小时进行查找、对比和分析,以解决一个问题。这可能涉及到查看各种日志、监控数据和其他相关信息,以找出问题的根源。而对于 SecOps 来说,需要在海量的数据中进行深度分析,意味着他们需要从数百 TB 的数据中,从异常中快速挖掘根本原因,这些过程都是非常耗时且繁琐的,可能需要大量的人力和资源投入。

为了解决以上问题,需要新一代的 AIOps 解决方案,数据融合分析实现自动化、全栈的数据全链路可观测,更易使用、所见即所得的报表和诊断规则,通过 AI 加持、更高效的自动检测异常并快速定位根因, AIOps 已为运维工作带来革命式变革。

日志服务 SLS 如何提升效率?

SLS 自动化全栈采集数据

  • 云基础设施可观测 Alibaba Cloud Lens:提供跨账号、跨区域、统一的云产品运维数据采集,支持自动采集计量、指标、访问日志等数据
  • 应用可观测 全栈可观测:全栈数据采集、客户端到服务端、基础设施到应用,数据关联分析、跨多种数据源、完备分析语法、丰富上下文支持
  • 安全审计 日志审计:50+ 数据源自动接入,安全态势可视化图表,内置 100+安全规则告警监控,提供多账号管理、跨账号、跨地域采集的中心化存储

SLS 开箱即用的报表和诊断规则

  • CloudLens 内置规则:全面的云产品辅助运维分析,支持消费组/API/Grafana 等灵活订阅的数据平台
  • 全栈可观测内置告警:实时告警、事件管理系统、告警收敛,可定制仪表盘、内置异常检测和根因分析
  • Security 内置规则:满足合规、等保、网安法、GDPR 等标准,内置近百个安全合规监控规则

SLS 开放兼容的数据生态

  • SLS 提供开放兼容的数据生态,兼容多种数据源,统一采集。
  • SLS 兼容开源、高性价比的可观测存储分析平台。内置 Serverless 分析能力,兼容开源引擎与工具,兼容 Elasticsearch、Kafka、Prometheus、CK,99% 的情况下无缝迁移。
  • SLS 是离线数仓、数据湖入湖的最佳方案,和三方 SIEM 对接提供 SecOps 云上安全审计,并支持多种告警通知渠道。

IT 运维场景的基础模型创新

阿里云日志服务 SLS 致力于打造高效、可观测的运维解决方案,凭借其多年的运维经验以及大语言模型的支持,不断提升其在此领域的竞争力。近期 SLS 发布智能运维基础模型,覆盖 Log、Trace、Metric 等可观测数据场景,支持指标的异常检测、文本的分词标注、Trace请求的高延时分析。模型提供开箱即用的异常检测、自动标注、分类和根因分析等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上。

此外,SLS 提供人工辅助微调。在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注、结果打标修正,沉淀符合特定场景的数据集。通过平台的标注能力,让客户从零开始积累高质量的运维数据标签,为未来的根因诊断模型的训练提供了无限可能。在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务。支持自动标注人工辅助微调,支持人工标注结果打标修正,模型根据人工反馈自动微调,提升场景准确率。

SLS 让大语言模型辅助生成查询语句,成为重要的智能助手。发布 Alibaba CloudLens Copilot 大模型助力云设施运维与运营。采用基于大语言模型的 NL2Query 技术,精准理解用户的查询意图,提高查询结果准确性;无需理解复杂的 SQL 语言和查询语法,可准确将自然语言查询转化为 SQL 查询和可视化图表;建立场景化的知识图谱,持续学习,不断优化模型调整和知识库更新,不断改进问题解答的准确性和效果。

场景示例:智能异常分析检测与根因分析

针对某游戏用户在游戏服务系统调用和依赖关系复杂的场景,我们提出了一种解决方案。该方案利用服务中的 Trace数据自动生成拓扑图,并围绕高延时分析、高错误率分析、系统热点和瓶颈等方面进行分析和诊断,以缩短问题处理时间并优化系统延时。

通过自动生成的拓扑图,我们可以快速定位海量 Trace 数据中的异常根因和性能瓶颈,无需人工干预。这种方法可以提高大规模分布式系统的异常定位效率,并实现数千请求每秒级别的根因定位。在生产环境中,该方案的准确率可达到 95%。

智能运维基础模型

传统的 AIOps 技术如异常检测、根因定位等主要有以下两个问题:

  • AIOps 算法涉及到很多阈值、规则的配置,在不同业务场景这些配置项都需要反复测试选择。因此算法的维护成本比较高,很难随着业务场景的变化而演进
  • AIOps 模型的构建一般使用私域数据,往往存在数据数量较少、质量较差的问题。这导致了模型的泛化性、迁移能力较差,在不同的业务场景往往需要重新构建

针对以上痛点,SLS 推出智能运维通用模型能力,我们分别构建了用于对 Log、Trace、Metric 这三类可观测数据进行分析的基础模型,提供开箱即用的异常检测算法、根因分析和自动打标等能力。支持秒级在数千请求内定位到根因,在生产中准确率达 95%以上。对于不同的数据类型,我们选择了不同的任务对模型进行预训练:

  • Metric 基础模型:可准备识别时序异常检测、时序预测、形态检测等,辅助做好更加智能的巡检
  • Log 基础模型:针对日志场景,提供丰富的 LogNER 的能力,辅助抽取带有语义信息的日志模板)
  • Trace 基础模型:支持 OT 协议的 Trace 数据的高延时诊断

特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达,大大降低客户对日志服务基础能力的使用门槛。客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果。

Alibaba Cloud Lens Copilot 大模型辅助基础设施运维与运营

Alibaba Cloud Lens Copilot 大模型助力云设施运维与运营,有效解决了通过 LLM 不了解 SLS 语法,缺少业务领域知识以及缺少高质量的问答语料等问题。

  • 准确识别意图:使用基于大语言模型的 NL2Query 技术,精准理解用户的查询意图,提高查询结果准确性
  • 所见即所得的结果与报表:无需理解复杂的 SQL 语言和查询语法,准确将自然语言查询转化为 SQL 查询和可视化图表
  • 自动学习资产数据:融合 Alibaba Cloud Lens 中的资产数据与知识图谱,持续学习资产数据、自动优化模型调整

总结

通过 AI 能力的加持,SLS 的智能分析能力将得到全面升级。SLS 致力于利用数据和算法来辅助 AIOps 创新,具备以下优势:

  • 易于使用
    • 客户可以在日志服务控制台上,轻量的触达指标异常检测、日志文本智能分词、Trace 链路高延时诊断等能力,让客户感觉模型无处不在
    • 特定领域的基础模型,开箱即用,省略了复杂的部署流程,一键触达
    • 本次推出特定领域的大语言模型,可大大降低客户对日志服务基础能力的使用门槛,让大语言模型辅助生成查询语句,成为重要的智能助手
  • 灵活性
    • 客户无需在特定的场景中进行模型微调,直接通过日志服务提供的通用基础模型就可以达到不错的效果
    • 在日志服务平台上,原生支持对 Log、Metric、Trace 的标注反馈能力,让客户在使用的过程中可以快速进行标注,沉淀符合特定场景的数据集
  • 可扩展性
    • 借助阿里云强大的算力支持,日志服务内置提供的基础通用模型可以实现快速的扩容和服务迁移
    • 在未来,客户可以针对自己标注的数据在特定领域的模型上进行微调,并行快速部署,创建私有的模型服务

原文链接

本文为阿里云原创内容,未经允许不得转载。

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部