文档章节

Kettle 学习知识总结(三)

gerry_pang
 gerry_pang
发布于 2014/04/03 08:55
字数 507
阅读 6889
收藏 6

接kettle学习知识总结(一)

【注意事项】

1、  如果kettle 转化过程中,要将一张表中数据转化到另一张不同的数据结构表中,最好在进行“表输入”或者“插入/更新”前加入字段选择插件,通过字段选择中的“列映射”,将A表中同类型字段映射到B表中。


2、如果要在SQL语句中引用系统变量使用${xxx}形式,此外还要将“替换SQL语句中里的变量”复选框勾选上,这样在执行的过程中才能正确替换系统变量。


3、  如果在js脚本中系统自带函数不会使用,可以通过鼠标右键点击“Sample”产看函数实例。


4、在kettle开发过程中,尽量使用相对路径,而不是用绝对路径,并将路径参数设置到系统的变量中,这样即便后期对目录结构造成较大的改动,只会对kettle代码产生较小的影响。


5、如果相对已经设置好的表输出——Database field进行设置,首先要将“Specify database fields”复选框进行选中。才能修改。


6、  表输出中“剪裁表”复选框,作用相对先将表中原有内容全部清除,然后重新添加数据。

                                                                                                                                                                     

7、  如果想将日志输出到kettle日志控制台中,要使用utility中的“write to log”工具。否者将不能打印各个步骤执行过程中的步骤。

 

8、  对于“插入/更新”插件

如果不填写查询关键字参数,既可以实现插入操作

如果填写查询关键字插件,实现的根据查询条件更新数据(注:必须将“update”属性设置为“Y”)

 

9、  对于kettle中定时插件,在执行时会一直占用某个shell,只有当执行完成之后kettle的定时器才会退出。所以我们在项目中使用linux 定时插件Crontab

© 著作权归作者所有

gerry_pang
粉丝 12
博文 63
码字总数 19834
作品 0
海淀
程序员
私信 提问
Kettle 学习知识总结(一)

【基础知识】 Kettle 分为两部分Job(作业) 和Transaction(转换) Job 的执行可以通过kitten 组件 Transaction的执行可以通过pan 组件 输入组件中是将所有查询后获取到的数据全部转给下一个...

gerry_pang
2014/04/03
800
0
Kettle 学习知识总结(二)

kettle循环控制方式设置: SelectCountIALClaim_TRG 转化内容如下图:将所有的表输入的查询结果复制到结果中。 循环控制器配置,如图: DealIALClaimfrIALClaimTRG 转化步骤,为要循环体中主...

gerry_pang
2014/04/03
454
0
Kettle 6.x 源码开发环境搭建

1、引言 Data Integration - Kettle 作为免费开源的ETL工具,可以通过其桌面程序进行ETL步骤的开发并执行。kettle以插件形式来实现每个转换步骤的工作,发行版中已经提供了常用的转换清洗插件...

空山苦水禅人
2016/11/02
4.8K
7
数据仓库经验老鸟分享零基础转行大数据的最佳自学之路

本人从08年从事数据仓库工程师转到目前大数据管理工作的,对数据仓库感情颇深,也曾一直苦于没有太好的学习资料,自行摸索。 我认为数据仓库更像一门管理学艺术,大多用的也是关系型数据库,...

董黎明
2018/06/22
118
0
Kettle发送邮箱并在正文中以表格形式展示内容[升级版]

在上一篇关于Kettle发送邮件并在正文中以表格形式展示内容的文章中,已经提到Kettle邮箱正文中支持HTML格式,要在邮箱正文中展示表格,那就行拼出HTML,然后扔到邮箱正文中. 方法就是这么简单直接...

夏一
01/12
0
0

没有更多内容

加载失败,请刷新页面

加载更多

linux查询日志命令总结

【背景】 排查线上环境问题,少不了去线上查日志。而使用什么命令,能快速准确地查到我们需要查找地日志信息,也是我们需要掌握的一项技能。 【命令】 Linux查看命令有多种:tail,head,cat...

chen-chen-chen
20分钟前
3
0
net/http 接收文件

代码展示,如何使用golang 自带net/http,将Form表单中提交上来的文件,指定位置保存。 ReadHtmlFile OutHtml(html网页,表单测试代码使用) SaveFile (处理提交文件) package mainimport...

听夜深窗外风
24分钟前
2
0
c++ 强制类型转换

强制类型转换 p545

天王盖地虎626
27分钟前
4
0
再读Golang中的异常处理

一起重温Golang中的异常处理啊😸 1.Golang语言中没有其他语言中的try...catch...语句来捕获异常和异常恢复 2.在Golang中我们通常会使用panic关键字来抛出异常,在defer中使用recover来捕获...

Andy-xu
46分钟前
9
0
TiDB 最佳实践系列(三)乐观锁事务

作者:Shirly TiDB 最佳实践系列是面向广大 TiDB 用户的系列教程,旨在深入浅出介绍 TiDB 的架构与原理,帮助用户在生产环境中最大限度发挥 TiDB 的优势。我们将分享一系列典型场景下的最佳实...

TiDB
今天
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部