文档章节

ETL工具之kettle 初识

雁南飞丶
 雁南飞丶
发布于 2018/03/21 16:50
字数 622
阅读 47
收藏 0

Kettle是一款国外开源(免费:受欢迎)的ETL工具,纯Java编写(Java开发很好的集成),可以在windows、Linux、Unix上运行(Linux服务器流行时代下,Kettle更加受欢迎), 数据抽取高效稳定(更更加受欢迎)。 
Kettle中文名俗称“水壶”,开发目的是将各种数据放到一个水壶中,然后经过各种处理加工,以特定的格式流出。

一、下载地址https://nchc.dl.sourceforge.net/project/pentaho/Pentaho%208.0/client-tools/pdi-ce-8.0.0.0-28.zip这个好像是最新版本的

二、需求

把test1数据库的test1表数据抽取导入test2数据库的test2表

创建数据库test1和test2,test1插入测试数据,test2建好表就行,然后测试test1表里的数据导入test2的表

#创建数据库test1,建表test1,插入测试数据
mysql> use test1;  
Database changed
mysql> create table test1 (name varchar(20),age int,nuber int);
Query OK, 0 rows affected (0.01 sec)
mysql> create table test1 (name varchar(20),age int,nuber int);
Query OK, 0 rows affected (0.01 sec)


mysql> desc test1;
+-------+-------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+-------+
| name  | varchar(20) | YES  |     | NULL    |       |
| age   | int(11)     | YES  |     | NULL    |       |
| nuber | int(11)     | YES  |     | NULL    |       |
+-------+-------------+------+-----+---------+-------+
3 rows in set (0.00 sec)
mysql> select count(*) from test1;
+----------+
| count(*) |
+----------+
|      410 |
+----------+
1 row in set (0.00 sec)
mysql> create table test2 (name varchar(20),age int,nuber int);
Query OK, 0 rows affected (0.01 sec)
mysql> desc test2;
+-------+-------------+------+-----+---------+-------+
| Field | Type        | Null | Key | Default | Extra |
+-------+-------------+------+-----+---------+-------+
| name  | varchar(20) | YES  |     | NULL    |       |
| age   | int(11)     | YES  |     | NULL    |       |
| nuber | int(11)     | YES  |     | NULL    |       |
+-------+-------------+------+-----+---------+-------+
3 rows in set (0.00 sec)

#创建数据库test2,表test2,可以在不同的服务器上

3、安装kettle

这个版本的kettle需要8版本的java支持

C:\Users\K>echo %JAVA_HOME%
C:\Program Files\Java\jdk1.8.0_162

C:\Users\K>

解压后运行Spoon.bat处理

得等一会。。。。

新建转换之前要连接数据库

下载数据库驱动到kettle目录下lib目录下重启程序生效才可以连接数据库

点击测试

建立2个连接各连test1库和test2库

点击--核心对象--输入--表输入--双击

点击--核心对象--输出--插入/更新--双击

配置如图

点击输入鼠标左键加shift键连接,开始启动

输出日志转换完成

查看test2表

mysql> use test2;
Database changed
mysql> select count(*) from test2;
+----------+
| count(*) |
+----------+
|      409 |
+----------+
1 row in set (0.00 sec)

 使用作业可以定时或周期性的执行转换,新建一个作业。并从左边面板拖入start 和转换。

点击start可以设置时间,转换设置刚才的start

这样一个简单的用法做完了

后续研究高级用法

© 著作权归作者所有

雁南飞丶
粉丝 37
博文 177
码字总数 235161
作品 0
西安
运维
私信 提问
开源 ETL 工具 - Kettle

Kettle 是一款国外开源的 ETL 工具,纯 Java 编写,绿色无需安装,数据抽取高效稳定(数据迁移工具)。Kettle 中有两种脚本文件,transformation 和 job,transformation 完成针对数据的基础转...

匿名
2009/09/10
213K
10
Kettle 与 Talend Open Studio 的 ETL 比较

Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。通过非常直观的图形化编辑器(Spoon),您可以定义以XML格式储存的流程。在Kettle运行过程中,这些流程会以不同的方法...

ychenETL
2011/06/13
0
0
kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗

软件环境: 数据源:SQL Server 2000 目标数据库:Oracle 10g ETL数据转换工具:Kettle (Pentaho Data Integration 5.1当前最新版本) ETL连SQL Server 2000用的是sqljdbc.jar,用的是JNDI的...

slxx0712
2014/09/11
2.2K
2
ETL利器Kettle实战应用解析系列一【Kettle使用介绍】

一、ETL利器Kettle实战应用解析系列一【Kettle使用介绍】 二、ETL利器Kettle实战应用解析系列二 【应用场景和实战DEMO下载】 三、ETL利器Kettle实战应用解析系列三 【ETL后台进程执行配置方式...

李丁玲
2016/03/04
133
0
Kettle 8.1 RC 发布,开源 ETL 工具

Kettle 8.1 RC 发布了,下载地址: https://github.com/pentaho/pentaho-kettle/releases/tag/8.1.0.0-RC 改进记录请看: https://github.com/pentaho/pentaho-kettle/compare/8.1.0.0-RC........

红薯
2017/12/14
4.6K
8

没有更多内容

加载失败,请刷新页面

加载更多

Protocol Buffers 简介

文档编辑和持续集成状态: 本文档的 Protocol Buffer 的中文文档使用的是 Asciidoctor 进行编排的 http://docs.ossez.com/protocol-buffers-docs/index.html(本 WIKI 中的内容将会与在线发布...

honeymoose
今天
3
0
uniapp + bootstrapvue 移动/PC 一套搞定 (一)配置bootstrapvue

1.准备文件 自己到DCloud官网: http://dcloud.io/ 去下载官方的IDE Hbuilder,新建一个空的uniapp项目即可。 uniapp框架自带优化的vue,我们仅仅需要准备以下三个文件: bootstrap.min.css ...

panyunxing
今天
11
0
Android Camera原理之camera service类与接口关系

camera service主要是指 frameworks/av/services/camera/下面的代码,最近在看这一块的代码,为了更好地理清这一块的代码,也为了后续学习camera方便一些,我觉得很有必要理一下这一块的整体...

天王盖地虎626
今天
6
0
Golang学习笔记

[TOC] Golang学习笔记 这个学习笔记是最早在1.初,版本左右的时候写的,和当前最新的版本可能会有较大的差异. 因为成文比较早,文章里面又有很多自己的见解,有些东西当时理解的不太透彻可能写错...

我爱吃炒鸡
今天
18
0
科技赋能成效显著!金融壹账通两大赋能项目荣获IDC大奖

7月19日,2019IDC中国未来金融论坛曁颁奖典礼于北京举办。由金融壹账通赋能的长春农商银行多人视频面审智能风控系统、包头农商银行互联网银行SaaS服务两大项目因在项目的创新性、技术领先性、...

IFTNews
昨天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部