作者: WalterWj 原文来源:https://tidb.net/blog/f5fea641
背景
如果不想使用 Lighting 命令行模式来导入数据,而是集中到自己的管理平台上,那么可以将 lighting 启动为一个服务,然后调用即可。
API
lightning web 模式 api:
- POST /tasks,body 是配置文件,返回 json,字段 id 表示 task id。
- GET /progress/task
手动测试
启用服务器模式
方式有如下几种:
- 在启动
tidb-lightning
时加上命令行参数--server-mode
。
tiup tidb-lightning --server-mode --status-addr :8289
- 在配置文件中设置
lightning.server-mode
。
[lightning]
server-mode = true
status-addr = ':8289'
Web Ui
可以看到,我们使用 Web ui 上传相关配置即可调用 lighting 来导入数据
其他测试信息
Schema
CREATE TABLE test.`orders_range` (
`id` int(11) NOT NULL AUTO_INCREMENT,
`customer_surname` varchar(30) DEFAULT NULL,
`store_id` int(11) DEFAULT NULL,
`salesperson_id` int(11) DEFAULT NULL,
`order_Date` date DEFAULT NULL,
`note` varchar(500) DEFAULT NULL,
PRIMARY KEY (`id`) /*T![clustered_index] CLUSTERED */
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin AUTO_INCREMENT=30002
PARTITION BY RANGE (`id`)
(PARTITION `p0` VALUES LESS THAN (5),
PARTITION `p1` VALUES LESS THAN (10),
PARTITION `p3` VALUES LESS THAN (15))
CSV
cat test.orders_range.csv ✔ wangjun@vm172-16-201-210 16:37:07
1,"aa",1,1,"2022-11-07 13:56:11.000","test"
2,"bb",2,2,"2022-11-07 13:56:12.000","test2"
Lighting web 加载的 toml 配置
[lightning]
# 日志
level = "info"
file = "tidb-lightning.log"
[tikv-importer]
# 选择使用的 local 后端
backend = "tidb"
# 设置排序的键值对的临时存放地址,目标路径需要是一个空目录
sorted-kv-dir = "/data/wangjun/tidb-tools/sorted-kv-dir"
[mydumper]
# 源数据目录。
data-source-dir = "/data/wangjun/tidb-tools/csv"
[mydumper.csv]
# 字段分隔符,支持一个或多个字符,默认值为 ','。如果数据中可能有逗号,建议源文件导出时分隔符使用非常见组合字符例如'|+|'。
separator = ','
# 引用定界符,设置为空表示字符串未加引号。
delimiter = '"'
# 行尾定界字符,支持一个或多个字符。设置为空(默认值)表示 "\n"(换行)和 "\r\n" (回车+换行),均表示行尾。
terminator = ""
# CSV 文件是否包含表头。
# 如果为 true,首行将会被跳过。
header = false
# CSV 是否包含 NULL。
# 如果为 true,CSV 文件的任何列都不能解析为 NULL。
not-null = false
# 如果 `not-null` 为 false(即 CSV 可以包含 NULL),
# 为以下值的字段将会被解析为 NULL。
null = '\N'
# 是否解析字段内的反斜线转义符。
backslash-escape = true
# 是否移除以分隔符结束的行。
trim-last-separator = false
# 配置通配符规则,默认规则会过滤 mysql、sys、INFORMATION_SCHEMA、PERFORMANCE_SCHEMA、METRICS_SCHEMA、INSPECTION_SCHEMA 系统数据库下的所有表
# 若不配置该项,导入系统表时会出现“找不到 schema”的异常
# filter = ['*.*', '!mysql.*', '!sys.*', '!INFORMATION_SCHEMA.*', '!PERFORMANCE_SCHEMA.*', '!METRICS_SCHEMA.*', '!INSPECTION_SCHEMA.*']
[tidb]
# 目标集群的信息
host = "127.0.0.1"
port = 4201
user = "root"
password = "tidb@123"
# 表架构信息在从 TiDB 的“状态端口”获取。
status-port = 10080
# 集群 pd 的地址
pd-addr = "127.0.0.1:2379"
API 方式调用
UI 方式成功后,按照 API 章节说明,我们尝试使用 Postman 调用来尝试使用。
使用方法如下图:
点击 send ,可以看到返回任务 ID,从 Web ui 也可以看到调用成功:
结论
如果在自家内网环境,不想登录服务器去启动 lighting,而是兼容到自家的调度平台,Lightning web 方式是一个很好的接入方式。