如何在启动 Linkis 服务的同时启动 SkyWalking方便后续跟踪和进行故障诊断？

随着大数据技术的迅速发展，越来越多的企业开始将 Apache Linkis 作为核心数据处理和计算平台。Linkis 为企业提供了统一的数据处理环境，大大提高了数据处理效率。然而，在实际应用过程中，我们往往需要对 Linkis 的运行状况进行实时监控，以便及时发现并解决潜在的性能问题。Apache SkyWalking 是一个优秀的分布式追踪和性能监控系统，可以帮助我们实现对 Linkis 的全面监控。

在本文，我们将详细介绍如何将 Apache Linkis 与 SkyWalking 进行集成，实现对 Linkis 运行状况的实时监控，来方便大家后续做分布式 trace 和 troubleshooting。

1. SkyWalking 介绍

SkyWalking 是开源的可视化平台，可从多种数据源进行数据采集，并提供分析、聚合及可视化等功能。通过 SkyWalking，我们可以对分布式系统的拓扑结构，数据交互有一个更加清晰的视图。

SkyWalking 架构

其从逻辑上可以划分成 4 个部分：

Probe：可以理解为数据采集 agent，主要负责数据采集和格式化。
Platform Backend：SkyWalking 的后端服务，支持数据聚合、分析以及流式处理等。
Storage：负责数据存储，以 plugin 的方式支持多种存储引擎，比如 ElasticSearch, H2, MySQL, TiDB, InfluxDB 等。
UI: 数据可视化。

在 Linkis 中使用 SkyWalking，需要用户已经存在 Backend 服务以及对应的 Storage，Linkis 服务启动的时候集成 Probe 即可。Probe 集成主要有三种方式：

Language based native agent：这些 agent 和目标服务进程运行在相同的用户空间，从外部来看，agent 和目标服务的代码是一样的。一个典型的例子是 Java agent，在运行 Java 应用的时候我们可以通过 -javaagent 来指定 agent。
Service Mesh probes：这种 Probe 通过 sidecar 或者 proxy 收集数据。
3rd-party intrument library：简单来说就是第三方的数据，比如 zipkin。

我们在 Linkis 集成 SkyWalking 的时候采用第一种方式，也就是 java agent 的方式。下面我们为大家演示一下如何在 Linkis 服务中开启 SkyWalking。

2. 部署 SkyWalking 后端

SkyWalking 后端是开启 SkyWalk 的前置条件，下面先简单演示下如何安装 SkyWalking 的后端。首先从 SkyWalking 的 Downloads 页面下载 SkyWalking APM，直接解压得到如下的目录结构。

$ lsbin  config  config-examples  LICENSE  licenses  logs  NOTICE  oap-libs  README.txt  tools  webapp

后端默认使用 H2 内存数据库作为后端存储，不需要修改配置。按如下方式启动Backend 和 WebApp：

$ sh bin/startup.sh

$ sh bin/webappService.sh

UI 默认启动在 8080 端口，也可以通过修改 webapp 目录下的 webapp.yml 文件修改监听端口。

server: port: 8080
spring: cloud: gateway: routes: - id: oap-route uri: lb://oap-service predicates: - Path=/graphql/** discovery: client: simple: instances: oap-service: - uri: http://127.0.0.1:12800 # - uri: http://<oap-host-1>:<oap-port1> # - uri: http://<oap-host-2>:<oap-port2>
mvc: throw-exception-if-no-handler-found: true
web: resources: add-mappings: true
management: server: base-path: /manage

3. Linkis 服务启动开启 SkyWalking

这里假定大家对 Linkis 的服务部署已经比较清晰，如果还不清晰，可以异步:

在 Linkis 中开启 SkyWalking 首先需要下载 SkyWalking 的 Java agent，我们可以在 Downloads 页面进行下载。

下载之后解压，内部的文件结构如下：

tree skywalking-agent $ skywalking-agent├── LICENSE├── NOTICE├── activations│ ├── apm-toolkit-kafka-activation-8.8.0.jar│ ├── ...├── bootstrap-plugins│ ├── apm-jdk-http-plugin-8.8.0.jar│ └── apm-jdk-threading-plugin-8.8.0.jar├── config│ └── agent.config├── licenses│ └── LICENSE-asm.txt├── logs├── optional-plugins│ ├── apm-customize-enhance-plugin-8.8.0.jar│ ├── ...├── optional-reporter-plugins│ ├── kafka-reporter-plugin-8.8.0.jar│ ├── ...├── plugins│ ├── apm-activemq-5.x-plugin-8.8.0.jar│ ├── ...└── skywalking-agent.jar

修改 Linkis 的 deploy-config/linkis-env.sh 中的配置项

SKYWALKING_AGENT_PATH

。将其设置为

skywalking-agent.jar

的路径，然后启动 Linkis 即可。

SKYWALKING_AGENT_PATH=/path/to/skywalking-agent.jar

$ sh linkis-start-all.sh

4. 结果展示

Linkis 的 UI 端口默认启动在 8080 端口，Linkis 开启 SkyWalking 之后打开 UI 如果能看到如下的图就表示成功了，否则可能是浏览器兼容性问题，请尝试切换浏览器试试。

通过以上的详细步骤和代码示例，我们已经成功实现了 Apache Linkis 与 SkyWalking 的集成。现在，你可以使用 SkyWalking 对 Linkis 的各个组件进行实时监控，及时发现并解决性能问题，从而提高整个数据处理平台的稳定性和性能。

需要注意的是，本文提供的集成方案仅作为参考，可能需要根据自己的实际环境进行适当调整

总之，Apache Linkis 与 SkyWalking 的集成为我们提供了一个强大的监控工具，有助于提高数据处理平台的稳定性和性能。希望本文能为你的实际工作带来帮助，祝你在大数据领域取得更多的成功。

— END —

加小助手( ID：WeDatasphere）找到组织，为你答疑解惑。

WeDataSphere一站式开源大数据平台的建设与应用实践

WeDataSphere 入门指南（含沙箱使用介绍）

保姆级教程：如何成为Apache Linkis文档贡献者

WDS优秀案例征集！让您的案例扩散和帮助更多人！

更多社区活动等待你的参与！

点击“阅读原文”进入Apache linkis官网

本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。

平波 2024-10-14 19:41

你也开始加入氛围组了；😂

Ask_x_Seek 2024-10-14 15:00

冲出去很难，主要是老外用的油管啥的都不支持

rainbing 2024-10-14 15:14

优秀的框架支持

fzn0268 2024-09-04 14:26

这是那个做代码生成器的老哥起的吧

asdfghjkl12345678 2024-10-14 17:57

sqlUtils.sql("INSERT INTO book (name , author) VALUES (?,?)", book.getName(), book.getAuthor()) .updateReturnKey(); 能把 ? 替换成 #{name} #{author} 吗 ? 这样看起来比较清晰 , 如果语句中出现10个? 那头都晕了

blue_think 2024-08-26 11:00

别光喷华为啊，说点你自己的能力，到了什么程度，有什么成就，这样好歹有点说服力吧

liming0101 2024-09-10 09:09

什么纳吉东西，还碰瓷黑神话

无法选中 2024-10-14 16:55

真草台班子，不按照常规发版流程，急着推个残废出来，张军等着被处罚吧

infoworld 2024-09-11 18:00

感谢，正是有你们这些先驱做的实事，才能避免被国外的系统和应用垄断。

简洛-默 2024-08-12 19:31

你是家里才通网吗? 龙芯早都弃用MIPS了，现在是自研的LoongArch。自己好好看看吧：https://loongarch.dev/zh-cn/posts/20210501-loongarch-manual/

zb79463626 2024-08-26 15:51

IBM中国哪有什么研发? 全部都是测试！所谓的搞研发的都是去养老混日子的！

Albert_1001011101011 2024-10-14 13:23

何止是没装这个软件，连系统的好多组件都删了，后门遥测那些东西在国内都不灵了

songdragon 2024-08-14 13:11

这个对比的条件还存在好几个问题。 1. solon使用的是smart-http，spring使用的是undertow 2. solon启动本身的自动配置少于spring 这两点就决定了对比的维度不同，性能更好的原因大概率是web服务器、应用配置依赖导致的。如果要拉齐，需要使用同样的web服务器，spring应用排除掉所有的自动配置，只保留web必须的，才能说明框架的性能差距。现在这个结果，无法说明solon本身性能好。