文档章节

skywalking实现分布式系统链路追踪

燚-焱
 燚-焱
发布于 07/07 19:46
字数 1371
阅读 372
收藏 0

行业解决方案、产品招募中!想赚钱就来传!>>>

一、背景

    随着微服务的越来越流行,我们服务之间的调用关系就显得越来越复杂,我们急需一个APM工具来分析系统中存在的各种性能指标问题以及调用关系。目前主流的APM工具有CATZipkinPinpoint以及SkyWalking,本文主要简单介绍一下SkyWalking的搭建。

二、SkyWalking的组成

SkyWalking主要的几个组成模块。
1、Agent 主要负责从系统中采集各种指标,链路数据,发送给 oap服务。
2、oap服务接收Agent发送过来的数据,存储,执行分析,提供查询和报警功能。
3、StorageUI负责存储数据以及查看数据。

三、使用 docker-compose 搭建一个 oap 和 ui 服务

version: '3'
services:
  elasticsearch7:
    image: docker.elastic.co/elasticsearch/elasticsearch:7.5.0
    container_name: elasticsearch7
    restart: always
    ports:
      - 9023:9200
    environment:
      - discovery.type=single-node
      - bootstrap.memory_lock=true
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
      - TZ=Asia/Shanghai
    ulimits:
      memlock:
        soft: -1
        hard: -1
    networks:
      - skywalking
    volumes:
      - elasticsearch7:/usr/share/elasticsearch/data
  oap:
    image: apache/skywalking-oap-server:8.0.1-es7
    container_name: oap
    depends_on:
      - elasticsearch7
    links:
      - elasticsearch7
    restart: always
    ports:
      - 9022:11800
      - 9021:12800
    networks:
      - skywalking
    volumes:
      - ./ext-config:/skywalking/ext-config
  ui:
    image: apache/skywalking-ui:8.0.1
    container_name: ui
    depends_on:
      - oap
    links:
      - oap
    restart: always
    ports:
      - 9020:8080
    environment:
      SW_OAP_ADDRESS: oap:12800
    networks:
      - skywalking

networks:
  skywalking:
    driver: bridge

volumes:
  elasticsearch7:
    driver: local

1、docker-compose文件的目录

skywalking
├── ext-config
│   └── application.yml
├── ext-libs
├── skywalking.yml
└── temp.txt

2、访问

http://localhost:9020

3、注意事项

1、如果我们想覆盖oap镜像中的/skywalking/config 目录下的配置文件,我们可以在 docker 中挂载一个/skywalking/ext-config目录,将配置文件丢到此目录中即可。
2、如果我们想覆盖oap镜像中的/skywalking/oap-libs 目录下的jar,我们可以在 docker 中挂载一个/skywalking/ext-libs目录,将新的jar包丢到此目录中即可,但是已经存在的jar包无法被覆盖。
3、使用的版本是 8.0.1,数据持久化到 es7

四、全局日志追踪 traceId 的使用

方案一:

1、引入依赖

<dependency>
    <groupId>org.apache.skywalking</groupId>
    <artifactId>apm-toolkit-logback-1.x</artifactId>
    <version>8.0.1</version>
</dependency>

2、修改 logback.xml 文件


<?xml version="1.0" encoding="UTF-8"?>
<!-- Logback Configuration.  -->
<configuration debug="false">

    <!-- ConsoleAppender:把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder class="ch.qos.logback.core.encoder.LayoutWrappingEncoder">
            <layout class="org.apache.skywalking.apm.toolkit.log.logback.v1.x.mdc.TraceIdMDCPatternLogbackLayout">
                <Pattern><![CDATA[
%clr(%d{${LOG_DATEFORMAT_PATTERN:-yyyy-MM-dd HH:mm:ss.SSS}}){faint} [%X{tid}] %clr(${LOG_LEVEL_PATTERN:-%5p}) %clr(${PID:- }){magenta} %clr(---){faint} %clr([%15.15t]){faint} %clr(%-40.40logger{39}){cyan} %clr(:){faint} %m%n${LOG_EXCEPTION_CONVERSION_WORD:-%wEx}
            ]]></Pattern>
            </layout>
        </encoder>
    </appender>

    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>
</configuration>

方案二

参考如下链接 https://github.com/apache/skywalking/blob/master/docs/en/setup/service-agent/java-agent/Application-toolkit-trace.md

五、idea 或 jar 中使用

使用如下命令,需要折成一行
java 
-javaagent:(agentjar包的位置)(eg: /Users/huan/soft/apache-skywalking-apm-bin-es7/agent/skywalking-agent.jar )
-Dskywalking.agent.service_name=xxxxx-service 
-Dskywalking.collector.backend_service=127.0.0.1:9022 -jar xxxx.jar

-javaagent 指定 agent jar 包的位置
-Dskywalking.agent.service_name 指定服务名
-Dskywalking.collector.backend_service 指定 oap 服务的地址 idea中使用

六、skywalking的目录解释

apache-skywalking-apm-bin-es7
├── LICENSE
├── NOTICE
├── README.txt
├── agent
						├── activations
					  ├── bootstrap-plugins
					  ├── config   -- agent 的配置文件,比如我们上一步使用 -Dskywalking.agent.service_name配置的这些
					  ├── logs
					  ├── optional-plugins     可选插件      (将optional-plugins目录的jar包放到 plugins 目录下即可启动这些插件)
					  ├── plugins                     启用的插件
					 └── skywalking-agent.jar  我们自己的服务需要使用 -javaagent 指定到这个jar的位置
├── bin          oap/ui 的启动脚本
├── config    配置文件
├── licenses
├── oap-libs
├── tools
└── webapp   ui界面

七、访问 skywalking 的界面

skywalking

八、实战

1、忽略某些url不被追踪

1、第一步将 apm-trace-ignore-plugin-8.0.1.jar 从optional-plugins 移动到 plugins 目录中

忽略插件

2、配置忽略url

方法一:agent/config 目录下创建 apm-trace-ignore-plugin.config文件

trace.ignore_path=${SW_AGENT_TRACE_IGNORE_PATH:需要忽略的url}
eg:trace.ignore_path=${SW_AGENT_TRACE_IGNORE_PATH:/xxx/**}

方法二: 直接使用环境变量 -Dskywalking.trace.ignore_path=需要忽略的url路径

注意:
1、忽略路径是支持 ant 风格的。
2、忽略多个url使用英文的逗号分隔。

2、追踪子线程的信息

1、引入依赖

<dependency>
		<groupId>org.apache.skywalking</groupId>
		<artifactId>apm-toolkit-trace</artifactId>
		<version>8.0.1</version>
</dependency>

2、使用@TraceCrossThread注解或使用SupplierWrapper/RunnableWrapper/TraceCrossThread

@GetMapping("tractThread")
    public String tractThread() {
        log.info("准备自己线程信息");
        new Thread(RunnableWrapper.of(() -> log.info("子线程的信息"))).start();
        return "trace thread";
    }

此处演示RunnableWrapper.of包装Runnable线程。
追踪子线程

3、如果某个方法SkyWalking没有追踪,但是想追踪并输出一些额外的tag信息等

1、引入依赖

<dependency>
		<groupId>org.apache.skywalking</groupId>
		<artifactId>apm-toolkit-trace</artifactId>
		<version>8.0.1</version>
</dependency>

2、自己想加入的方法使用 @Trace 注解修饰

@GetMapping("tractAnnotation")
    public User traceAnnotation(
            @RequestParam("name") String name
    ) {
        log.info("从前端接收到的参数:[{}]", name);
        User user = trace(name);
        ActiveSpan.tag("new-tag", user.toString());
        ActiveSpan.info("输出信息");
        log.info("tractId:[{}]", TraceContext.traceId());
        return user;
    }

    @Trace(operationName = "添加自定义的方法")
    @Tags({
            @Tag(key = "从方法参数中获取值", value = "arg[0]"),
            @Tag(key = "从返回值中获取值", value = "returnedObj.name")
    })
    private User trace(String name) {
        log.info("如果此方法没有被SkyWalking收集,但是又需要被收集到,可以加上@Trace注解");
        User user = new User();
        user.setName("创建的名字");
        return user;
    }

Trace注解的使用

4、自定义显示服务实例

默认服务实例的名字是 uuid@hostname,这个在某些时候不一定好区分,因为我们希望自定义一个 instanceName 名字

1、默认的实现

默认的服务实例

2、自定义实现

使用 -Dskywalking.agent.instance_name=自定义的服务名即可。 自定义实例服务名

九、项目源码

docker-compose.yml文件 https://gitee.com/huan1993/configuration/blob/master/docker/compose/skywalking/skywalking.yml
java代码 https://gitee.com/huan1993/skywalking

十、参考链接

SkyWalking官网 http://skywalking.apache.org/zh/
SkyWalking的docker github地址 https://github.com/apache/skywalking-docker
elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/7.5/docker.html
skywalking中文文档 https://skyapm.github.io/document-cn-translation-of-skywalking/ agent config https://github.com/apache/skywalking/blob/v8.0.1/docs/en/setup/service-agent/java-agent/README.md#table-of-agent-configuration-properties

燚-焱
粉丝 0
博文 4
码字总数 3406
作品 0
黄冈
高级程序员
私信 提问
加载中
请先登录后再评论。
用vertx实现高吞吐量的站点计数器

工具:vertx,redis,mongodb,log4j 源代码地址:https://github.com/jianglibo/visitrank 先看架构图: 如果你不熟悉vertx,请先google一下。我这里将vertx当作一个容器,上面所有的圆圈要...

jianglibo
2014/04/03
3.9K
3
SQLServer实现split分割字符串到列

网上已有人实现sqlserver的split函数可将字符串分割成行,但是我们习惯了split返回数组或者列表,因此这里对其做一些改动,最终实现也许不尽如意,但是也能解决一些问题。 先贴上某大牛写的s...

cwalet
2014/05/21
9.6K
0
DNS 管理系统--NamedManager

NamedManager 是一个基于 Web 的 DNS 管理系统,可用来添加、调整和删除 DNS 的 zones/records 数据,支持 Bind 作为后端的 DNS 服务,支持 IPv4 和 IPv6。...

匿名
2013/01/23
8.5K
0
实时分析系统--istatd

istatd是IMVU公司工程师开发的一款优秀的实时分析系统,能够有效地收集,存储和搜索各种分析指标,类似cacti,Graphite,Zabbix等系统。实际上,istatd修改了Graphite的存储后端,重新实现了...

匿名
2013/02/07
2.8K
1
Promises/A 和 when() 实现--When.js

When.js 是 cujojs 的轻量级的 Promises/A 和 when() 实现,从 wire.js 的异步核心和 cujojs 的 IOC 容器派生而来。包含很多其他有用的 Promiss 相关概念,例如联合多个 promiss、mapping 和...

匿名
2013/02/15
7.4K
0

没有更多内容

加载失败,请刷新页面

加载更多

ThingJS,3D可视化的采集与分析

物联网中最重要的是“物”,通过内置采集数据的传感器,我们实时了解设备——也就是“物”的数据,那如何利用数据做分析决策呢?这就进入到ThingJS熟悉的可视化范畴了。 3D可视化展示 物联网...

ThingJS
10分钟前
8
0
【技术博客】GPU 编程之从零开始实现 MNIST-CNN

【技术博客】GPU 编程之从零开始实现 MNIST-CNN 很多人最开始接触“ GPU ”想必都是通过游戏,一块高性能的 GPU 能带来非凡的游戏体验。而真正使GPU被越来越多人熟知是因为机器学习、深度学习...

MomodelAI
14分钟前
0
0
如何在Linux中符号链接文件? [关闭] - How can I symlink a file in Linux? [closed]

问题: I want to make a symbolic link in Linux. 我想在Linux中建立一个符号链接。 I have written this Bash command where the first path is the folder I want link into and the sec......

富含淀粉
22分钟前
10
0
好用到爆的 Java 技巧

本文不是一个吹嘘的文章,不会讲很多高深的架构,相反,会讲解很多基础的问题和写法问题,如果读者自认为基础问题和写法问题都是不是问题,那请忽略这篇文章,节省出时间去做一些有意义的事情...

码农突围
46分钟前
8
0
消息队列(MessageQueue)-分析

这里分析消息队列的原理和一般做法和其理念价值 这里还会 分析 NATS 和其可改进点 TODO

梦想游戏人
50分钟前
20
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部