kettle-2(实现增量更新-插入&更新)

2019/07/25 17:24
阅读数 2.8K

由来:需要将一个系统的数据(MySQL)抽取到另一个系统(Oracle),使用ETL方式。随着数据量的增加,全量同步数据不可行,所以得做增量更新。业务数据表有主键,除了新增外,以前同步的数据非主键信息可能会发生更改。

 

1.看了下网上的思路,有一种是这样的(A代表表名):一句话概括-通过主键对比找到新增行-同步数据。

  ①select max(id) from mysql.A;===>>>找出MySQL中的最大ID;

  ②select * from oralce.A where a.id > ?;===>>>?代表①的max(id),找出oracle中比MySQL.max(id)大的ID;

  ③insert into mysql.A value = ②;===>>>将②中数据插入mysql;

  第一步没什么滑头,第二步如下:

  第三步如下:

  *上述方法没有问题,但是在初始化的时候行不通,原因是步骤①-mysql.A中没数据时,即max(id)=null,导致带入第 ②步的and条件的id > null ,即varchar > null,数据不会写到MySQL,当MySQL中有一条符合条件的ID时,是可行的。

 

2.在转换中新增的“插入/更新”时其实已经包含了两个动作-插入和更新,所以可以去掉1中的比较结果集步骤:

  ①找出oracle.A中的所有符合条件的数据;

  ②将上一步找到的数据通过ID字段和MySQL中的对比,做出更新动作;

    *这里的更新包含2层含义:

      *更新:如果ID = ID,ID字段不更新,其他字段更新,即ID更新=N,其他字段更新=Y;

      *新增:如果ID != ID,在以上范围外,新增;

  *可以先同步三条数据到mysql.A;然后再在oracle.A中增加一条数据,修改一条数据的非ID字段,执行下看下效果。

 

3.补充说明:若删除了oracle.A中已同步到mysql.A的数据时,执行操作后不会影响mysql.A中的这条数据。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部