文档章节

【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(一)

o
 osc_a22drz29
发布于 2019/03/28 16:49
字数 1816
阅读 27
收藏 0

精选30+云产品,助力企业轻松上云!>>>

0. 环境说明及软件准备

ODI(Oracle Data Integrator)是Oracle公司提供的一种数据集成工具,能高效地实现批量数据的抽取、转换和加载。ODI可以实现当今大多数的主流关系型数据库(Oracle、DB2、SQL Server、MySQL、SyBase)的集成。

ODI提供了图形化客户端和agent(代理)运行程序。客户端软件主要用于对整个数据集成服务的设计,包括创建对数据源的连接架构、创建模型及反向表结构、创建接口、生成方案和计划等。Agent运行程序是通过命令行方式在ODI服务器上启动的服务,对agent下的执行计划周期性地执行。

任何数据驱动的集成,都可以使用ODI, ODI的常见应用场景:

    1. 数据仓库:比如ETL阶段。

    2. 数据迁移:比如将某一源系统的数据迁移到新系统中。

    3. 数据集成:比如两个系统间高效的点到点数据传递。

    4. 数据复制:比如将一个Instance的数据复制另外一个Instance中。

闲言少叙,进入正题。首先,ODI是Oracle的数据集成工具,需要安装Oracle数据库,可以从Oracle官网下载安装,先要在官网上注册一个账号,找到下载页,最好把下面的client(客户端)也一并安装了吧,我安装的是Oracle11g win64位的,官网下载页如下:

安装过程比较简单,只是中间需要设置管理口令,记住就行。ODI也同样在Oracle的官网上下载。

将下载的ODI安装文件解压,就会包含两个文件夹,注意不同版本的安装,运行方式是不同的,我装的32位的ODI,需要运行Disk1\install\win32下的安装程序setup.exe。如下:

运行安装程序,直接下一步,步骤2选【跳过软件更新】;

步骤3选择安装类型,勾选一下即可;

步骤6选【跳过资料档案库配置】;

步骤7指定代理

 

下一步,直至安装完成。也可自行下载安装PL/SQL Developer,可以方便连接和管理数据库,当然这不是必须的,可用其它工具代替。全部安装完成后如下:

1. 创建数据库用户

在Oracle数据库中为ODI的资料库创建用户,ODI的资料库分为主资料库和工作资料库。资料库所产生的数据就是存放在Oracle数据库中的。

主资料库保存所有IT资源的Topology,保存项目和数据模型的安全信息、版本信息,供ODI图形模块等使用。

工作资料库保存项目和数据模型,供ODI图形模块等使用。

工作资料库需要连接到一个主资料库,为了逻辑清晰,我创建两个Oracle用户,分别存放主资料库和工作资料库的数据。

打开pl/sql,以管理员身份登陆到Oracle数据库。

【文件】>>【新建】>>【SQL窗口】>>输入创建用户的SQL语句>>【执行】

工作资料库用户的创建方式和主资料库一样,SQL语句如下:

1 CREATE USER J_ODI_ZLK    --主资料库用户名 
2 IDENTIFIED BY zlk123      --密码  
3 DEFAULT TABLESPACE USERS;   --默认表空间  
4 GRANT CONNECT,RESOURCE TO  J_ODI_ZLK;--授权用户
6 CREATE USER J_ODI_GZK    --工作资料库用户名 
7 IDENTIFIED BY gzk123      --密码  
8 DEFAULT TABLESPACE USERS;   --默认表空间  
9 GRANT CONNECT,RESOURCE TO  J_ODI_GZK;--授权用户

2. 创建主资料库

在Oracle中创建完用户后,就可以在ODI中创建主资料库。首先在开始菜单中找到已安装的ODI 并启动。

【文件】>>【新建】,打开新建库对话框,选择【主资料档案库创建向导】>>【确定】。

进入数据库连接窗口,在这里需要填写刚在Oracle数据库中为主资料库创建的用户信息以及Oracle数据库的DBA用户信息。需注意的是JDBC URL项中localhost为Oracle数据库的IP地址,我用的本地机器,就直接写localhost;orcl为Oracle数据库的实例名。信息输入完成后,点击一下测试连接,成功则可进入下一步。

这一步需要创建ODI超级用户SUPERVISOR,在窗口中输入密码即可,该密码要记住,后面会用到。

完成后ODI即开始创建主资料库,稍等就会出现成功创建主资料库的对话框。

主资料库创建完成后,就可以在ODI中连接到刚创建的主资料库了。点击ODI左侧边栏上方的【连接到资料档案库】,弹出登陆对话框,点击【登录名】后面的加号。

进入配置主资料库的连接信息,如下图所示。

配置完成后点击【确定】即可进入主资料库。

3. 创建工作资料库

主资料库完成后,并不能进行实质的开发工作,还需要创建一个工作资料库,在工作资料库中才可以进行工作。接上一环节,进入主资料库后,点击左侧边栏上方的【拓扑】标签,点击【资料档案库】,在【工作资料档案库】上单击鼠标右键,选择【新建工作资料档案库】。

进入工作资料库的连接配置,配置完成点击【下一步】。

进入配置工作资料库的名称以及密码。输入后点击【完成】即可。工作资料库创建成功后,系统会弹出【是否为工作资料档案库创建登录】对话框,提示是否为该工作资料库创建登录名,可以选择【否】,一会在连接工作资料库时在创建也是一样。

工作资料库创建完成后,就可以在ODI中连接到刚创建的工作资料库了。在连接之前,先要断开已经连接的主资料库,【ODI】>>【断开连接”J_ZLK”】。

断开主资料库的连接后,再点击ODI左侧边栏上方的【连接到资料档案库】,弹出登陆对话框,点击【登录名】后面的加号。

进入创建工作资料库的连接配置窗口,如下图所示。

配置完成,点击【确定】即可登陆到工作资料库,就可以开始work了。

至此,前期的基本配置工作已经完成了,后面就可以正式开始创建具体的数据集成方案了。

4. 工作场景说明

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(二)

5. 创建物理体系结构

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(二)

6. 创建逻辑体系结构

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(二)

7. 创建模型

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(二)

8. 创建项目及接口

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(三)

9. 执行接口

    【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(三)

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(三)

资料库的创建、体系结构的创建、模型反向工程都已经完成了,下面就是创建以及执行接口来完成工作了。 浏览前两节请点击: 【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(一) 【O...

osc_keofad7g
2019/03/29
2
0
【ODI】| 数据ETL:从零开始使用Oracle ODI完成数据集成(二)

前一节已经完成了Oracle数据库和ODI的安装,并已经为ODI在Oracle数据库中创建了两个用户,分别用于存放主资料库数据和工作资料库数据,在ODI中完成主资料库和工作资料库的创建,也分别为其创...

osc_keofad7g
2019/03/29
2
0
数据仓库ODS、DW和DM概念区分

ODS(Operational Data Store)——操作性数据 DW(Data Warehouse)——数据仓库 DM(DataMart)——数据集市 1.数据中心整体架构 数据中心整体架构 数据仓库的整理架构,各个系统的元数据通...

osc_4g93n6bo
2018/07/18
4
0
Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训总结

ylbtech-Train-Alypay-Cloud:蚂蚁大数据平台培训开课通知(第三次)- 培训总结 1. 产品简介返回顶部 1.1、产品概述 蚂蚁金服大数据平台(Ant Financial Big Data Platform)是基于蚂蚁金融云...

osc_mhxmyy0u
2018/03/02
5
0
从ETL到API

在IT领域,ETL(提取,转换,加载)流程长期以来一直用于构建数据仓库和数据分析报告系统。企业使用面向商业智能化(BI)的ETL流程,从高度分布的数据源中提取各种数据,通过操作、解析和格式...

APEMESH
2019/07/09
8
0

没有更多内容

加载失败,请刷新页面

加载更多

科技人文丨玻璃心:承受阈值与表达

大家好,我是SKODE。 有趣的灵魂,聊科技人文。 本系列博客地址:传送门 本文转载自B站:安慰记传送门 玻璃心是网络用语,意思是: 对负面事件的接受度很低 还有对别人可能给出的负面评价非常...

osc_u9mt0sus
29分钟前
20
0
迅睿CMS 游客不允许上传附件

游客不允许上传附件 迅睿CMS系统:https://www.xunruicms.com/ 本文档原文地址:https://www.xunruicms.com/doc/752.html...

迅睿CMS-PHP开源CMS程序
29分钟前
7
0
代理,注解,接口和实现类的小测验

* retention : 保留* policy : 策略 ps : 简单测试了一下手写代理,jdk动态代理,和cglib动态代理,根据其不同的结果分析其原理 一:测试目的 主要想看一下不同的代理模式对于目标类中方法上注...

岁一
30分钟前
6
0
V-Ray 5 For 3ds Max 正式发布:超越渲染 - 知乎

15个新功能,V-Ray5助你时间更节省,渲染更出色! 作者:ChaosGroup VRay 5 For 3ds Max 已正式发布! 2分钟视频,抢先预览新功能↓ 知乎视频 www.zhihu.com V-Ray 5 for 3ds Max 新增功能 ...

osc_o9u1um45
30分钟前
0
0
毕业的笑容和悲伤永远是校园的回忆

校园的风轻轻的拂过我的脸庞,风儿显得更加凉爽, 开满火红的凤凰树,染遍了校园的每个角落, 晚上那枝头蝉儿的竞相鸣奏,唱满了令人不舍的毕业歌, 它们彷彿告诉了我们要毕业了。 毕业典礼那...

瑾123
31分钟前
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部