文档章节

如何使用ARMS配置tengine的日志监控

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:15
字数 1169
阅读 4
收藏 0

摘要:业务实时监控服务 ARMS 很好的提供了这么一个入口,为公司提供了一个实时查询Tengine运行情况的解决方案。在未来,ARMS将很好的和ODPS为公司监控形成互补方案,tengine日志日后可同时投递到ARMS和MaxCompute中: ARMS响应第一时间的多维度报警; MaxCompute来做深层次分析,例如接口的请求数、响应时长等,并有针对性地进行调优。

       来自 深圳市小亿网络有限公司 王昕岩

       最近公司通过业务实时监控服务 ARMS 成功搭建了基于tengine的日志监控系统。这里简单分享一下使用ARMS用于监控tengine日志的经验。

       公司发展至今,现阶段所有接口都使用阿里的tengine作为web容器,类似nginx,在日志中也记录了包括host, url, ip, 包体大小,响应时长等信息。目前的业务需求场景是希望有一套系统来监控接口的异常,来及时发现系统的异常,并能具体到哪些项目、哪些服务器、甚至哪些URL出现异常,提高分析问题和解决问题的速度。

       tengine日志分布到不同服务器上,首先使用日志服务来分别收集这些日志。再以logHub作为日志源,来进行监控。想到使用ARMS的其中一个最重要原因是因为我们系统tengine的日志格式有一定的定制,需要有一个端到端监控产品提供的定制化特别强的数据清洗功能,以及聚合计算+报警功能。

这里详细介绍一下ARMS吊炸天的日志切分功能。

       第一步,一个开始节点;

       第二步,LogHub数据源过来默认是JSON格式,进行JSON解析,如下图:



       注意日期类型的时间格式,尤其是“小时”部分,默认格式是hh(12小时),需要改为HH(24小时)。

       第三步,清洗,过滤掉这里不需要监控的host,如下图:



       通过函数,过滤掉不以指定域名结尾的host。

       第四步,解析URL。使用“单分隔符切分器”,将request字段按照空格切分,分别获取调用方式(GET/POST)、完整URL、协议版本。



       第五步,区分错误码。这里主要是为了区分,返回码是代表正常、还是错误。这里只对错误的返回码进行监控。下图的例子是,返回码是4xx或5xx的表示错误,其他表示正常。新增字段is_error表示是否是“错误码”,赋值1或0表示是或否。



       第六步,配置服务器IP和服务器名称的对应关系。配置了一个映射表如下:



       注意,这里一定要配置一个127.0.0.1的k-v关系,否则日志切分预览的时候会看不到这个“服务器名称”字段。



       最后,再简化一下host,把域名的后缀去掉,只保留前缀。



       至此,日志切分全部结束。点击“日志切分预览”,即可查看切分效果。点击保存,下一步。

       配置数据集,例如要监控接口的访问次数,使用count(_line);要监控平均包体大小,使用sum(包体大小)÷count(_line);要监控平均响应时长,使用sum(响应时长)÷count(_line)。维度根据需要配置,此处配置为先服务器,后接口域名。



       至此配置全部结束,点击保存,完成配置。即可启动任务了。以上为简单示例。

这边展示我制作的其中几项监控的大盘。

       请求数效果图:



       响应时长效果图:



       包体大小效果图:



       错误码个数效果图:



       运维人员通过对几个图表的观察分析,可以很快得出一些异常情况发生的原因,并及时处理掉。

       一个年轻的互联网公司,需要不断的成长。系统也一样,需要不断的提升、优化。业务实时监控服务 ARMS 很好的提供了这么一个入口,为公司提供了一个实时查询Tengine运行情况的解决方案。在未来,ARMS将很好的和ODPS为公司监控形成互补方案,tengine日志日后可同时投递到ARMS和MaxCompute中: ARMS响应第一时间的多维度报警; MaxCompute来做深层次分析,例如接口的请求数、响应时长等,并有针对性地进行调优。

本文转载自:http://www.jianshu.com/p/752688ba7536

AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
业务实时监控服务ARMS 全息排查功能全新上线

作为鹰眼的商业化产品,用于全链路APM监控的阿里云业务实时监控服务 (ARMS) , 基于鹰眼的全息排查沉淀,近日推出了基于分布式调用链监控技术的全息排查功能,将该功能提供给广大用户。至此,...

中间件小哥
2018/07/27
0
0
数十万应用结点全息监控,ARMS新上线的应用监控神器到底有多牛?

就在不久前,2017年阿里双11刚刚创下电商史上的新销售奇迹,24小时交易金额达1682亿,每秒交易创建峰值325000,每秒支付峰值256000!在这个海量交易背后是数十万个结点规模的应用的高效运行。...

中间件小哥
2017/12/21
0
0
高性能linux业务集群架构搭建、调优、自动化运维——index(更新中)

工作中零零散散写了些博客,总结了些知识。东西一多就乱,如果能有一个主页把所有内容串起来就会比较方便,就像一个网站有了内容后需要一个index主页一样,然后就有了这篇置顶博文。 现有目录...

愚人乙
2016/05/04
0
0
ARMS: 原来实时计算可以这么简单!

业务实时监控服务( ARMS)是一款阿里云应用性能管理(APM)类监控产品。借助本产品,您可以基于前端、应用、业务自定义等服务,迅速便捷地为企业构建秒级响应的业务监控能力。 其中自定义监...

中间件小哥
2018/06/07
0
0
网站常见问题1分钟定位(一) | 阿里云ARMS诊断Java应用卡顿问题实战

别慌,这只是一张贴图 除了404,最让网友们心塞的可能就是这张图了。 欢迎网友们在“阿里巴巴中间件”公众号后台留言,把你在互联网上看到的心塞的事情发给我们,不限于文字、图片和语音,没...

中间件小哥
2018/08/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周日乱弹 —— 别问,问就是没空

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @tom_tdhzz :#今日歌曲推荐# 分享容祖儿/彭羚的单曲《心淡》: 《心淡》- 容祖儿/彭羚 手机党少年们想听歌,请使劲儿戳(这里) @wqp0010 :周...

小小编辑
今天
163
4
golang微服务框架go-micro 入门笔记2.1 micro工具之micro api

micro api micro 功能非常强大,本文将详细阐述micro api 命令行的功能 重要的事情说3次 本文全部代码https://idea.techidea8.com/open/idea.shtml?id=6 本文全部代码https://idea.techidea8....

非正式解决方案
今天
5
0
Spring Context 你真的懂了吗

今天介绍一下大家常见的一个单词 context 应该怎么去理解,正确的理解它有助于我们学习 spring 以及计算机系统中的其他知识。 1. context 是什么 我们经常在编程中见到 context 这个单词,当...

Java知其所以然
昨天
5
0
Spring Boot + Mybatis-Plus 集成与使用(二)

前言: 本章节介绍MyBatis-Puls的CRUD使用。在开始之前,先简单讲解下上章节关于Spring Boot是如何自动配置MyBatis-Plus。 一、自动配置 当Spring Boot应用从主方法main()启动后,首先加载S...

伴学编程
昨天
8
0
用最通俗的方法讲spring [一] ──── AOP

@[TOC](用最通俗的方法讲spring [一] ──── AOP) 写这个系列的目的(可以跳过不看) 自己写这个系列的目的,是因为自己是个比较笨的人,我曾一度怀疑自己的智商不适合干编程这个行业.因为在我...

小贼贼子
昨天
8
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部