文档章节

Skywalking微服务监控分析

EAWorld
 EAWorld
发布于 01/07 09:35
字数 3156
阅读 1910
收藏 75


转载本文需注明出处:EAWorld,违者必究。

引言:

微服务框架落地后,分布式部署架构带来的问题就会迅速凸显出来。服务之间的相互调用过程中,如果业务出现错误或者异常,如何快速定位问题?如何跟踪业务调用链路?如何分析解决业务瓶颈?...本文我们来看看如何解决以上问题。

目录:

一、SkyWalking初探
二、业务调用链路监控
三、服务性能指标监控
四、服务告警

一、SkyWalking初探

Skywalking 简介

Skywalking是一款国内开源的应用性能监控工具,支持对分布式系统的监控、跟踪和诊断。

它提供了如下的主要功能特性:

Skywalking 技术架构




SW总体可以分为四部分:

1.Skywalking Agent:使用Javaagent做字节码植入,无侵入式的收集,并通过HTTP或者gRPC方式发送数据到Skywalking Collector。

2. Skywalking Collector :链路数据收集器,对agent传过来的数据进行整合分析处理并落入相关的数据存储中。

3. Storage:Skywalking的存储,时间更迭,sw已经开发迭代到了6.x版本,在6.x版本中支持以ElasticSearch、Mysql、TiDB、H2、作为存储介质进行数据存储。

4. UI :Web可视化平台,用来展示落地的数据。

Skywalking Agent配置

通过了解配置,可以对一个组件功能有一个大致的了解。让我们一起看一下skywalking的相关配置。

解压开skywalking的压缩包,在agent/config文件夹中可以看到agent的配置文件。

从skywalking支持环境变量配置加载,在启动的时候优先读取环境变量中的相关配置。



agent.namespace: 跨进程链路中的header,不同的namespace会导致跨进程的链路中断
agent.service_name:一个服务(项目)的唯一标识,这个字段决定了在sw的UI上的关于service的展示名称
agent.sample_n_per_3_secs: 客户端采样率,默认是-1代表全采样
agent.authentication: 与collector进行通信的安全认证,需要同collector中配置相同
agent.ignore_suffix: 忽略特定请求后缀的trace
collecttor.backend_service: agent需要同collector进行数据传输的IP和端口
logging.level: agent记录日志级别

skywalking agent使用javaagent无侵入式的配合collector实现对分布式系统的追踪和相关数据的上下文传递。

Skywalking Collector关键配置

Collector支持集群部署,zookeeper、kubernetes(如果你的应用是部署在容器中的)、consul(GO语言开发的服务发现工具)是sw可选的集群管理工具,结合大家具体的部署方式进行选择。详细配置大家可以去Skywalking官网下载介质包进行了解。

Collector端口设置



downsampling: 采样汇总统计维度,会分别按照分钟、【小时、天、月】(可选)来统计各项指标数据。
通过设置TTL相关配置项可以对数据进行自动清理。

Skywalking 在6.X中简化了配置。collector提供了gRPC和HTTP两种通信方式。

UI使用rest http通信,agent在大多数场景下使用grpc方式通信,在语言不支持的情况下会使用http通信。

关于绑定IP和端口需要注意的一点是,通过绑定IP,agent和collector必须配置对应ip才可以正常通信。

Collector存储配置

在application.yml中配置的storage模块配置中选择要使用的数据库类型,并填写相关的配置信息。



Collector Receiver

Receiver是Skywalking在6.x提出的新的概念,负责从被监控的系统中接受指标数据。用户完全可以参照OpenTracing规范来上传自定义的监控数据。Skywalking官方提供了service-mesh、istio、zipkin的相关能力。



现在Skywalking支持服务端采样,配置项为sampleRate,比例采样,如果配置为5000则采样率就是50%。

关于采样设置的一点注意事项

关于服务采样配置的一点建议,如果Collector以集群方式部署,比如:Acollector和Bcollector,建议Acollector.sampleRate = Bcollector.sampleRate。如果采样率设置不相同可能会出现数据丢失问题。



假设Agent端将所有数据发送到后端Collector处,A采样率设置为30%,B采样率为50%。

假设有30%的数据,发送到A上,这些数据被全部正确接受并存储,极端情况(与期望的采样数据量相同)下,如果剩下20%待采样的数据发送到了B,这个时候一切都是正常的,如果这20%中有一部分数据被送到了A那么,这些数据将是被忽略的,由此就会造成数据丢失。

二、业务调用链路监控

Service Topology监控

调用链路监控可以从两个角度去看待。我们先从整体上来认识一下我们所监控的系统。

通过给服务添加探针并产生实际的调用之后,我们可以通过Skywalking的前端UI查看服务之间的调用关系。

我们简单模拟一次服务之间的调用。新建两个服务,service-provider以及service-consumer,服务之间简单的通过Feign Client 来模拟远程调用。



从图中可以看到:

有两个服务节点:provider & consumer
有一个数据库节点:localhost【mysql】
一个注册中心节点

consumer消费了provider提供出来的接口。

一个系统的拓扑图让我们清晰的认识到系统之间的应用的依赖关系以及当前状态下的业务流转流程。细心的可能发现图示节点consumer上有一部分是红色的,红色是什么意思呢?

红色代表当前流经consumer节点的请求有一断时间内是响应异常的。当节点全部变红的时候证明服务现阶段内就彻底不可用了。运维人员可以通过Topology迅速发现某一个服务潜在的问题,并进行下一步的排查并做到预防。

Skywalking Trace监控

Skywalking通过业务调用监控进行依赖分析,提供给我们了服务之间的服务调用拓扑关系、以及针对每个endpoint的trace记录。

我们在之前看到consumer节点服务中发生了错误,让我们一起来定位下错误是发生在了什么地方又是什么原因呢?



在每一条trace的信息中都可以看到当前请求的时间、GloableId、以及请求被调用的时间。我们分别看一看正确的调用和异常的调用。

Trace调用链路监控


图示展示的是一次正常的响应,这条响应总耗时19ms,它有4个span:

span1 /getStore = 19ms  响应的总流转时间
span2 /demo2/stores = 14ms  feign client 开始调用远程服务后的响应的总时间
span3 /stores = 14ms 接口服务响应总时间
span4 Mysql = 1ms  服务提供端查询数据库的时间

这里span2和span3的时间表现相同,其实是不同的,因为这里时间取了整。

在每个Span中可以查看当前Span的相关属性。

组件类型: SpringMVC、Feign 
Span状态: false
HttpMethod: GET
Url: http://192.168.16.125:10002/demo2/stores



这是一次正常的请求调用Trace日志,可能我们并不关心正常的时候,毕竟一切正常不就是我们期待的么!

我们再来看下,异常状态下我们的Trace以及Span又是什么样的呢。



发生错误的调用链中Span中的is error标识变为true,并且在名为Logs的TAB中可以看到错误发生的具体原因。根据异常情况我们就可以轻松定位到影响业务的具体原因,从而快速定位问题,解决问题。

通过Log我们看到连接被拒,那么可能是我们的网络出现了问题(可能性小,因为实际情况如果网络出现问题我们连这个trace都看不到了),也有可能是服务端配置问题无法正确建立连接。通过异常日志,我们迅速就找到了问题的关键。

实际情况是,我把服务方停掉了,做了一次简单的模拟。可见,通过拓扑图示我们可以清晰的看到众多服务中哪个服务是出现了问题的,通过trace日志我们可以很快就定位到问题所在,在最短的时间内解决问题。

三、服务性能指标监控 

Skywalking还可以查看具体Service的性能指标,根据相关的性能指标可以分析系统的瓶颈所在并提出优化方案。

Skywalking 性能监控

在服务调用拓扑图上点击相应的节点我们可以看到该服务的

SLA: 服务可用性(主要是通过请求成功与失败次数来计算)
CPM: 每分钟调用次数
Avg Response Time: 平均响应时间



从应用整体外部来看我们可以监测到应用在一定时间段内的

服务可用性指标SLA
每分钟平均响应数
平均响应时间
服务进程PID
服务所在物理机的IP、HostName、Operation System

Service JVM信息监控



还可以监控到Service运行时的CPU、堆内存、非堆内存使用率、以及GC情况。这些信息来源于JVM。注意这里的数据可不是机器本身的数据。

四、服务告警

前文我们提到了通过查看拓扑图以及调用链路可以定位问题,可是运维人员又不可能一直盯着这些数据,那么我们就需要告警能力,在异常达到一定阈值的时候主动的提示我们去查看系统状态。

在Sywalking 6.x版本中新增了对服务状态的告警能力。它通过webhook的方式让我们可以自定义我们告警信息的通知方式。诸如:邮件通知、微信通知、短信通知等。

Skywalking 服务告警

先来看一下告警的规则配置。在alarm-settings.xml中可以配置告警规则,告警规则支持自定义。


一份告警配置由以下几部分组成:

service_resp_time_rule:告警规则名称 ***_rule (规则名称可以自定义但是必须以’_rule’结尾
indicator-name:指标数据名称: 定义参见http://t.cn/EGhfbmd
op: 操作符: > , < , = 【当然你可以自己扩展开发其他的操作符】
threshold:目标值:指标数据的目标数据 如sample中的1000就是服务响应时间,配合上操作符就是大于1000ms的服务响应
period: 告警检查周期:多久检查一次当前的指标数据是否符合告警规则
counts: 达到告警阈值的次数
silence-period:忽略相同告警信息的周期
message:告警信息
webhooks:服务告警通知服务地址

Skywalking通过HttpClient的方式远程调用在配置项webhooks中定义的告警通知服务地址。



了解了SW所传送的数据格式我们就可以对告警信息进行接收处理,实现我们需要的告警通知服务啦!

我们将一个服务停掉,并将另外一个服务的某个对外暴露的接口让他休眠一定的时间。然后调用一定的次数观察服务的状态信息以及告警情况。



总结:

本文简单的通过skwaylking的配置来对skywlaking的功能进行一次初步的了解,对skwaylking新提出的概念以及新功能进行简单的诠释,方便大家了解和使用。通过使用APM工具,可以让我们方便的查看微服务架构中系统瓶颈以及性能问题等。


关于作者:赵瑞栋,普元java工程师,从事Eclipse插件开发,参与普元EOS8 Platform开发,现主要参与EOS8微服务管理平台开发工作。 


 

关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。长按二维码关注!

 

© 著作权归作者所有

共有 人打赏支持
EAWorld
粉丝 12
博文 23
码字总数 86571
作品 0
浦东
私信 提问
加载中

评论(7)

9
92年的java
http://www.jujingyun.com 北京网站建设
http://www.shjuntang.com 上海装潢
唐代de豆腐
唐代de豆腐
这个挺好用的; 简洁不简单
Skqing
Skqing
文章里咋一个链接都没有
丁富贵
最近刚试用了一下,用起来比较容易,但是文档和UI还是比较简陋
EAWorld
EAWorld

引用来自“hotbain”的评论

怎么联系到这篇文章的作者? 想做一下技术交流
您可以先加cloud-primeton,我们可以拉您进群和作者交流
hotbain
hotbain

引用来自“hotbain”的评论

怎么联系到这篇文章的作者? 想做一下技术交流
毕竟skw qq群太少了
hotbain
hotbain
怎么联系到这篇文章的作者? 想做一下技术交流
几种分布式调用链监控组件的实践与比较(二)比较

引言:最近在调研与选型分布式调用链监控组件。选了主要的三种APM组件进行了实践与比较。本来打算一篇文章写完的,篇幅太长,打算分两篇。距离第一篇已经有近一个月时间了,主要最近工作比较...

aoho
2017/12/06
0
0
数人云Meetup | Building Microservice NO.2:微服务,从架构到发布

容器化的兴起,带来应用开发部署的变革,也带来应用设计架构和运维部署变化; 持续交付、DevOps、微服务,成为企业在软件成果对抗当中胜出的有力武器; 时至今日,微服务架构已经随处可见, ...

数人云
2018/03/12
13
0
进击的微服务实战派丨 Micro Service Open Talk 北京站

一、活动介绍 2016年10月,Spring Cloud 中国社区(http://springcloud.cn) 作为国内首个 Spring Cloud 构建微服务架构的交流社区正式成立,致力于为 Spring Boot 和 Spring Cloud 技术人员提...

又拍云
2017/09/27
66
1
Skywalking Node.js 现支持 Egg 框架调用链追踪

Skywalking Node.js 简介 Apache Skywalking (Incubating)是专门为微服务架构和云原生架构系统而设计的能够支持分布式链路追踪的APM系统。通过给应用加载探针的方式收集应用调用链路信息,S...

Xin_Zhang_BJ
2018/08/30
1K
0
SkyWalking 全票通过加入 Apache 孵化器

2017年12月8日,Apache 软件基金会孵化器项目管理委员会 ASF IPMC 宣布 “SkyWalking 全票通过,进入 Apache 孵化器”。 SkyWalking 开源项目由吴晟(@wu-sheng)于2015年创建,同年10月在G...

王练
2017/12/18
3.3K
17

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(11.9)hive操作基础知识

上一篇博客分享了hive的简介和初体验,本节博主将继续分享一些hive的操作的基础知识。 DDL操作 (1)创建表 #建表语法CREATE [EXTERNAL] TABLE [IF NOT EXISTS] table_name [(col_name ...

em_aaron
今天
0
0
OSChina 周四乱弹 —— 我家猫真会后空翻

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @我没有抓狂 :#今天听这个# 我艇牛逼,百听不厌,太好听辣 分享 Led Zeppelin 的歌曲《Stairway To Heaven》 《Stairway To Heaven》- Led Z...

小小编辑
今天
1
0
node调用dll

先安装python2.7 安装node-gyp cnpm install node-gyp -g 新建一个Electron-vue项目(案例用Electron-vue) vue init simulatedgreg/electron-vue my-project 安装electron-rebuild cnpm ins......

Chason-洪
今天
3
0
scala学习(一)

学习Spark之前需要学习Scala。 参考学习的书籍:快学Scala

柠檬果过
今天
3
0
通俗易懂解释网络工程中的技术,如STP,HSRP等

导读 在面试时,比如被问到HSRP的主备切换时间时多久,STP几个状态的停留时间,自己知道有这些东西,但在工作中不会经常用到,就老是记不住,觉得可能还是自己基础不够牢固,知识掌握不够全面...

问题终结者
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部