5000多张数据表,如何用SQL迁移到数据仓库?

原创
2020/11/30 08:10
阅读数 5K

点击关注上方“SQL数据库开发”,

设为“置顶或星标”,第一时间送达干货

需求背景
最近公司打算集中梳理几大业务系统的数据,希望将各个业务系统中的数据集中到数据仓库中。总共有5000多张数据表,但是好在业务数据量没有像电商那么庞大,也就几十个G。


需求分析
其实这个需求很简单,就是把这5000多张不同数据库中的表放到一个地方。需要注意的有以下几点:
1、数据来自各种不同类型的数据库,有SQL Server,MySQL和Oracle
2、表的数据量较多,一个一个写查询代码肯定不现实
3、后续数据仓库的维护


方案建议
由于数据量不是很大,我打算用DBLINK来实现从不同的库中抽取数据到数据仓库中。


方案思路
1、创建不同的DBLINK
数据仓库我们目前使用的是SQL Server的服务器,整体性能还可以。但是业务系统的数据库类型不一,在新建DBLINK时有不同的要求:
a、针对SQL Server的业务数据库可以直接在服务器上新建

b、针对MySQL和Oracle的业务数据库需要先使用ODBC作用中间组件来配置。



2、查询数据库中的所有表表名
每个业务数据库都是全库抽取,那么首先需要找到这些数据库中的所有表。这里我们以SQL Server为例来查找数据库中的所有表。


SELECT NAME FROM SYSOBJECTS WHERE TYPE='U'


上面的代码就可以把当前库中的所有表的表名都给查询出来,我这里在家里电脑测试了一下,给大家看下截图:


大家也可以在自己的电脑上试一试就知道了。

Oracle获取用户表表名的代码如下:


SELECT * FROM USER_TABLES;


MySQL获取用户表表名的代码如下:


select table_name
from information_schema.tables
where table_schema='db_name';



3、循环抽取数据
我们在完成上面两步后,就可以开始循环抽取各业务系统的数据了。这里我们需要写一个游标来循环执行。具体代码如下:


DECLARE @TableName varchar(50),@Sql varchar(500)
--定义两个变量,一个用来存储表名,一个用来存储插入语句
DECLARE cursor_variable CURSOR FOR
--定义一个游标,并且将目标表的所有表名插入游标中
select name from [192.168.0.39].[test].[dbo].sysobjects where xtype='u' order by name;
OPEN cursor_variable
--打开游标
FETCH NEXT FROM cursor_variable
INTO @TableName
--获取游标中的数据插入到变量中
WHILE @@FETCH_STATUS=0
--循环执行,当游标中的数据被读完为止
BEGIN 
   SET @Sql='select * into dbo.'+@TableName +' from [192.168.0.39].[test].[dbo].'+@TableName
   Exec @Sql
FETCH NEXT FROM cursor_variable
INTO @TableName
END
CLOSE cursor_variable
--关闭游标
DEALLOCATE cursor_variable;
--释放游标


目前只是测试代码,后续在性能上还可以继续优化。


4、设置定时任务
代码写好了,肯定不可能每天手动去执行,这时候我们可以使用数据库的定时任务,这个我在以前的文章中有提到过。《 数据库任务自动化其实很简单,JOB的简单介绍


我们把代码放到定时任务里面,让它每天凌晨1点执行即可。


总结
这个办法在处理数据量不多的情况下是可行的,如果数据量较大,性能上会存在较大风险。下面我们回顾一下做了哪些内容:
1、创建不同数据库的DBLINK
2、查询到每个数据库的所有表名
3、使用游标循环插入到数据仓库
4、设置定时任务执行上面的游标

每个步骤都可能会存在问题,但是只要把这些问题都解决了,这件事就解决了。

觉得不错,记得转发分享给更多人~


 
    
    
——End——

   
      
      
后台回复关键字:1024,获取一份精心整理的技术干货
后台回复关键字:进群,带你进入高手如云的交流群。
推荐阅读
这是一个能学到技术的公众号,欢迎关注

点击「阅读原文」了解SQL训练营

本文分享自微信公众号 - SQL数据库开发(sql_road)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
Ellipsis用这个组件处理下
2020/12/01 17:22
回复
举报
更多评论
打赏
1 评论
0 收藏
0
分享
返回顶部
顶部