手把手入门MO | 如何使用 DolphinScheduler 连接 MatrixOne

原创
01/03 15:20
阅读数 22

1 概述

Apache DolphinScheduler 是一个分布式、易扩展的可视化 DAG 工作流任务调度开源系统。它提供了一种解决方案,可以通过可视化操作任务、工作流和全生命周期的数据处理过程。

Apache DolphinScheduler 的主要目标是解决复杂的大数据任务依赖关系。它使用 DAG(Directed Acyclic Graph,有向无环图)的流式方式来组装任务,允许您实时监控任务的执行状态,支持任务重试、指定节点恢复失败、暂停、恢复、终止等操作。

MatrixOne 支持与可视化 DAG 工作流任务调度系统 DolphinScheduler 进行连接。本文将指导您如何通过 DolphinScheduler 连接到 MatrixOne 并创建任务工作流。

 

2 开始前准备

  • 已完成安装和启动 MatrixOne。
  • 已完成安装 DolphinScheduler。

 

3 配置MySQL驱动

1. 下载 MySQL 驱动并将其复制到 libs 目录

在安装完成后,您需要手动下载 mysql-connector-java 驱动(版本 8.0.16),然后将它分别复制到 DolphinScheduler 安装目录下的四个目录中:api-server/libs、alert-server/libs、master-server/libs 和 worker-server/libs。

Note
推荐使用 `mysql-connector-java-8.0.16.jar` 作为 MySQL 驱动包。

2. 重启 DolphinScheduler

复制驱动包完成后,需要重启 DolphinScheduler 服务。首先进入 DolphinScheduler 的安装目录,然后执行以下命令来重启 DolphinScheduler 服务:

# 停止 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh stop standalone-server
# 启动 Standalone Server 服务
bash ./bin/dolphinscheduler-daemon.sh start standalone-server

3. 登录 DolphinScheduler

使用默认用户名 admin 和密码 dolphinscheduler123,通过访问 http://ip:12345/dolphinscheduler/ui 登录 DolphinScheduler 的 Web 用户界面,如下图所示:

 

4. 创建数据源

点击数据源中心 > 创建数据源,填写 MatrixOne 数据连接信息。完成后,点击测试连接,如果连接成功,点击确定保存:

 

4 创建项目工作流

1. 创建租户

安全中心中,点击创建租户,填写租户名称,如下图所示:

Note

在生产环境中,不建议使用 root 作为租户。

2. 创建项目

项目管理中,点击创建项目,填写项目名称,如下图所示:

3. 创建工作流并添加节点

点击上一步创建的项目名称,然后点击创建工作流。从左侧拖动 SQL 节点到右侧的画布上,填写节点名称、数据源信息、SQL 类型、SQL 语句,然后点击确定。如下图所示:

此步骤创建的是一个建表节点,SQL 语句用于创建表格。

接下来,类似地创建插入数据查询数据节点。这三个节点的依赖关系如下图,您可以手动连接它们:

三个节点的 SQL 语句如下:

#create_table
CREATE TABLE IF NOT EXISTS test_table (id INT AUTO_INCREMENT PRIMARY KEY, name
VARCHAR(255) NOT NULL)
#insert_data
INSERT INTO test_table (name) VALUES ('John Doe')
#select_data
SELECT * FROM test_table

根据依赖关系连接这三个节点,然后点击保存。填写工作流名称,选择之前创建的租户,选择执行策略为并行,然后点击确定

创建好工作流后,您可以在工作流关系页面看到创建的工作流,其状态为工作流下线

同样,您也可以在工作流定义页面看到定义的工作流,其状态为下线

4. 上线并运行工作流

工作流必须先上线才能运行。点击上线按钮,将之前创建的工作流上线:

上线后,工作流的状态如下图所示:

接下来,点击运行按钮,设置启动前的配置参数,然后点击确定:

最后,返回项目概况,查看工作流以及下面的三个任务是否成功运行,如下图所示:


关于MatrixOne

MatrixOne 是一款基于云原生技术,可同时在公有云和私有云部署的多模数据库。该产品使用存算分离、读写分离、冷热分离的原创技术架构,能够在一套存储和计算系统下同时支持事务、分析、流、时序和向量等多种负载,并能够实时、按需的隔离或共享存储和计算资源。云原生数据库MatrixOne能够帮助用户大幅简化日益复杂的IT架构,提供极简、极灵活、高性价比和高性能的数据服务。

MatrixOne企业版和MatrixOne云服务自发布以来,已经在互联网、金融、能源、制造、教育、医疗等多个行业得到应用。得益于其独特的架构设计,用户可以降低多达70%的硬件和运维成本,增加3-5倍的开发效率,同时更加灵活的响应市场需求变化和更加高效的抓住创新机会。在相同硬件投入时,MatrixOne可获得数倍以上的性能提升。

MatrixOne秉持开源开放、生态共建的理念,核心代码全部开源,全面兼容MySQL协议,并与合作伙伴打造了多个端到端解决方案,大幅降低用户的迁移

关键词:超融合数据库、多模数据库、云原生数据库、国产数据库。

MatrixOrigin 官网:新一代超融合异构开源数据库-矩阵起源(深圳)信息科技有限公司 MatrixOne

Github 仓库:GitHub - matrixorigin/matrixone: Hyperconverged cloud-edge native database

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部