简介
CloudCanal 近期开放了 MySQL -> GaussDB for MySQL/ OpenGauss数据链路,本篇文章将简要概述 CloudCanal 对于 GaussDB for MySQL/OpenGauss 目标数据迁移同步的支持。
功能介绍
结构迁移类型自动处理与优化
不同数据库对于数据类型支持存在差异,CloudCanal 结构迁移时会进行类型自动转换与优化。
例如:在 MySQL 中可以定义的VARCHAR(0)
数据类型,在 OpenGauss 中不支持,CloudCanal 结构迁移时会自动将源端 MySQL 的VARCHAR(0)
类型映射为VARCHAR(1)
。
自定义数据处理
用户在迁移、实时同步期间如需要对传输的数据行进行自定义的加工可以采用 CloudCanal 提供的自定义数据处理能力,这对于实时宽表构建、新增动态列、基于微服务、缓存的数据清洗等数据处理场景都非常有帮助。关于更多自定义数据的使用方式可以参考:数据处理插件使用方式。
支持高性能写入模式
CloudCanal 中默认采用 OpenGauss的驱动通过JDBC的方式进行批量写入。如果用户对性能要求很苛刻,可以尝试开启基于Copy模式的高性能写入模式。在Copy写入模式下,写入性能相比采用JDBC的方式有很大的提升。
可视化创建
CloudCanal 创建 GaussDB for MySQL/OpenGauss 数据迁移同步任务是完全可视化的,通过获取数据库元数据,让用户在 浏览器页面上即可决定哪些库、表、列进行迁移同步等。
自动化流程
GaussDB for MySQL/OpenGauss 数据迁移同步任务创建后,CloudCanal 将自动流转各个阶段的任务,用户无需干涉,直达数据实时同步状态。
监控图表支撑
CloudCanal 为 GaussDB for MySQL/OpenGauss 数据迁移同步任务提供了多个实用监控指标,包括增量缓存RPS、增量缓存延迟(ms)、内存队列数据个数等,当调优任务性能或排查任务异常原因时,监控指标提供了很好的判断依据。
告警支持
CloudCanal 为 GaussDB for MySQL/OpenGauss 数据迁移任务提供了包括钉钉/企业微信/飞书/自定义等 webhook 类型告警,对于企业级客户,可额外选择邮件,以及短信告警,实时保障同步任务的高可用。
简单示例
本示例以将数据从 MySQL 数据库同步到 GaussDB for OpenGauss 数据库为操作案例,以便更好地说明 CloudCanal 在不同数据库之间进行数据同步的能力。
准备动作
- 下载安装CloudCanal 私有部署版本,使用参见快速上手文档
- 准备好 MySQL 数据库(本例使用 8.0 版本)和 GaussDB for OpenGauss 数据库(本例使用 5.0 版本)
- 登录 CloudCanal 平台 ,添加 GaussDB for OpenGauss 和 MySQL
任务创建
-
任务管理 -> 新建任务
-
测试连接并选择 源 和 目标 数据库
-
点击下一步
-
选择 数据同步,并勾选全量数据初始化以及开启一次性校验,其他选项默认
-
选择需要迁移同步的表
-
确认创建任务
-
任务自动执行结构迁移、全量同步和增量同步,执行数据校验,结果显示数据校验通过
总结
本文主要介绍了CloudCanal支持 GaussDB for MySQL/OpenGauss 目标端数据迁移同步功能,通过这个能力,用户可以便利地将数据实时同步到 GaussDB for MySQL/OpenGauss 数据库,实现数据更广泛、更实时的应用。