文档章节

记 java 调用 ETL 工具 kettle 作业

skhuhu
 skhuhu
发布于 2016/09/29 17:27
字数 838
阅读 224
收藏 0
  1. import org.pentaho.di.core.database.DatabaseMeta;  
  2. import org.pentaho.di.core.exception.KettleException;  
  3. import org.pentaho.di.core.logging.LogWriter;  
  4. import org.pentaho.di.core.util.EnvUtil;  
  5. import org.pentaho.di.job.Job;  
  6. import org.pentaho.di.job.JobEntryLoader;  
  7. import org.pentaho.di.job.JobMeta;  
  8. import org.pentaho.di.repository.Repository;  
  9. import org.pentaho.di.repository.RepositoryDirectory;  
  10. import org.pentaho.di.repository.RepositoryMeta;  
  11. import org.pentaho.di.repository.UserInfo;  
  12. import org.pentaho.di.trans.StepLoader;  
  13. import org.pentaho.di.trans.Trans;  
  14. import org.pentaho.di.trans.TransMeta;  
  15.   
  16. /** 
  17.  * Java调用Kettle示例代码 
  18.  *  
  19.  * @author 李文锴 
  20.  * @since 2012-8-14 下午03:50:00 
  21.  *  
  22.  */  
  23. public class KettleTest {  
  24.   
  25.     public static void main(String[] args) throws KettleException {  
  26.         String filename = "voucher.ktr";  
  27.         // callNativeTrans(filename);  
  28.         // executeTrans();  
  29.         // executeJobs();  
  30.         callNativeTransWithParam(filename);  
  31.         System.out.println("ok");  
  32.     }  
  33.   
  34.     /** 
  35.      * 调用本地的转换文件 
  36.      *  
  37.      * @Description: 
  38.      * @param transFileName 
  39.      * @throws KettleException 
  40.      * @author 李文锴 
  41.      * @since:2012-8-15 下午02:58:41 
  42.      */  
  43.     public static void callNativeTrans(String transFileName) throws KettleException {  
  44.         // 初始化  
  45.         EnvUtil.environmentInit();  
  46.         StepLoader.init();  
  47.         // 转换元对象  
  48.         TransMeta transMeta = new TransMeta(transFileName);  
  49.         // 转换  
  50.         Trans trans = new Trans(transMeta);  
  51.         // 执行转换  
  52.         trans.execute(null);  
  53.         // 等待转换执行结束  
  54.         trans.waitUntilFinished();  
  55.     }  
  56.   
  57.     /** 
  58.      * 调用本地的转换文件(带参数) 
  59.      *  
  60.      * @Description: 
  61.      * @param transFileName 
  62.      * @throws KettleException 
  63.      * @author 李文锴 
  64.      * @since:2012-8-15 下午02:58:54 
  65.      */  
  66.     public static void callNativeTransWithParam(String transFileName) throws KettleException {  
  67.         // 初始化  
  68.         EnvUtil.environmentInit();  
  69.         StepLoader.init();  
  70.         // 转换元对象  
  71.         TransMeta transMeta = new TransMeta(transFileName);  
  72.         // 转换  
  73.         Trans trans = new Trans(transMeta);  
  74.         String[] params = {};  
  75.         // 执行转换  
  76.         trans.execute(params);  
  77.         // 等待转换执行结束  
  78.         trans.waitUntilFinished();  
  79.   
  80.     }  
  81.   
  82.     /** 
  83.      * 执行存储在数据库资源库中的转换 
  84.      *  
  85.      * @Description: 
  86.      * @throws KettleException 
  87.      * @author 李文锴 
  88.      * @since:2012-8-15 下午02:59:14 
  89.      */  
  90.     public static void executeTrans() throws KettleException {  
  91.         // 初始化  
  92.         EnvUtil.environmentInit();  
  93.         StepLoader.init();  
  94.         // 日志  
  95.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DEBUG);  
  96.         // 用户  
  97.         UserInfo userInfo = new UserInfo();  
  98.         userInfo.setLogin("admin");  
  99.         userInfo.setPassword("admin");  
  100.         // 数据库连接元对象(连接名称,不必与kettle中配置的保持一致:数据库类型:连接方式(kettle支持的连接方式):资源库IP:资源库实例名:资源库端口:资源库用户名:资源库用户密码)  
  101.         DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");  
  102.         // 资源库元对象  
  103.         RepositoryMeta repinfo = new RepositoryMeta();  
  104.         repinfo.setConnection(connection);  
  105.         // 资源库  
  106.         Repository rep = new Repository(log, repinfo, userInfo);  
  107.         // 连接资源库  
  108.         rep.connect("");  
  109.         // 资源库目录对象  
  110.         RepositoryDirectory dir = new RepositoryDirectory(rep);  
  111.         // 转换元对象  
  112.         TransMeta transMeta = new TransMeta(rep, "凭证(N9->EVC2)", dir);  
  113.         // 转换  
  114.         Trans trans = new Trans(transMeta);  
  115.         // 执行转换  
  116.         trans.execute(null);  
  117.         // 等待转换执行结束  
  118.         trans.waitUntilFinished();  
  119.     }  
  120.   
  121.     /** 
  122.      * 执行本地的任务文件 
  123.      *  
  124.      * @Description: 
  125.      * @param jobFileName 
  126.      * @throws KettleException 
  127.      * @author 李文锴 
  128.      * @since:2012-8-15 下午02:59:34 
  129.      */  
  130.     public static void callNativeJob(String jobFileName) throws KettleException {  
  131.         // 初始化  
  132.         EnvUtil.environmentInit();  
  133.         JobEntryLoader.init();  
  134.         StepLoader.init();  
  135.         // 日志  
  136.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);  
  137.         // job元对象  
  138.         JobMeta jobMeta = new JobMeta(log, jobFileName, null);  
  139.         // job  
  140.         Job job = new Job(log, StepLoader.getInstance(), null, jobMeta);  
  141.         jobMeta.setInternalKettleVariables(job);  
  142.         // 执行job  
  143.         job.execute();  
  144.         // 等待job执行结束  
  145.         job.waitUntilFinished();  
  146.     }  
  147.   
  148.     /** 
  149.      * 执行数据库资源库中的任务 
  150.      *  
  151.      * @Description: 
  152.      * @throws KettleException 
  153.      * @author 李文锴 
  154.      * @since:2012-8-15 下午02:59:45 
  155.      */  
  156.     public static void executeJobs() throws KettleException {  
  157.         // 初始化  
  158.         EnvUtil.environmentInit();  
  159.         JobEntryLoader.init();  
  160.         StepLoader.init();  
  161.         // 日志  
  162.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);  
  163.         // 用户  
  164.         UserInfo userInfo = new UserInfo();  
  165.         userInfo.setLogin("admin");  
  166.         userInfo.setPassword("admin");  
  167.         // 数据库连接元对象  
  168.         DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");  
  169.         // 资源库元对象  
  170.         RepositoryMeta repinfo = new RepositoryMeta();  
  171.         repinfo.setConnection(connection);  
  172.         // 资源库  
  173.         Repository rep = new Repository(log, repinfo, userInfo);  
  174.         // 连接资源库  
  175.         rep.connect("");  
  176.         // 资源库目录对象  
  177.         RepositoryDirectory dir = new RepositoryDirectory(rep);  
  178.         // 步骤加载对象  
  179.         StepLoader steploader = StepLoader.getInstance();  
  180.         // job元对象  
  181.         JobMeta jobmeta = new JobMeta(log, rep, "4.账户每日余额", dir);  
  182.         // job  
  183.         Job job = new Job(log, steploader, rep, jobmeta);  
  184.         // 执行job  
  185.         job.execute();  
  186.         // 等待job执行结束  
  187.         job.waitUntilFinished();  
  188.   
  189.     }  
  190.   
  191. }  

 

kettle 6.0 初始方法变动 

/**
 * 调用本地的转换文件
 */
public static void callNativeTrans(String transFileName) throws KettleException {
    // 初始化
    KettleEnvironment.init();
    // 转换元对象
    TransMeta transMeta = new TransMeta(transFileName);
    // 转换
    Trans trans = new Trans(transMeta);
    // 执行转换
    trans.execute(null);
    // 等待转换执行结束
    trans.waitUntilFinished();

    if (trans.getErrors() > 0) {
        throw new RuntimeException(
                "There were errors during transformation execution.");
    }
}

/**
 * 调用本地的转换文件(带参数)
 *
 */
public static void callNativeTransWithParam(String transFileName) throws KettleException {
    // 初始化
    KettleEnvironment.init();
    // 转换元对象
    TransMeta transMeta = new TransMeta(transFileName);
    // 转换
    Trans trans = new Trans(transMeta);
    String[] params = {};
    // 执行转换
    trans.execute(params);
    // 等待转换执行结束
    trans.waitUntilFinished();

    if (trans.getErrors() > 0) {
        throw new RuntimeException(
                "There were errors during transformation execution.");
    }
}

本文转载自:http://blog.csdn.net/scorpio3k/article/details/7869196

共有 人打赏支持
skhuhu
粉丝 7
博文 36
码字总数 591
作品 0
程序员
解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简...

波波夫空袭
2017/10/31
0
1
Kettle 与 Talend Open Studio 的 ETL 比较

Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。通过非常直观的图形化编辑器(Spoon),您可以定义以XML格式储存的流程。在Kettle运行过程中,这些流程会以不同的方法...

ychenETL
2011/06/13
0
0
kettle之旅--kettle的发展史简述

简述 kettle(Pentaho Data Integratio)是一套开源的ETL解决方案,诞生于2003年(完成第一个版本的开发),由比利时BI工程师Matt Casters(马特.卡斯特)完成,后续被Pentaho公司收购(收购...

cimenbi
07/28
0
0
阿里年薪50WJAVA工程师转大数据学习路线!

大数据有两个方向,一个是偏计算机的,另一个是偏经济的。你学过Java,所以你可以偏将计算机的。 Java程序员想转大数据可行吗?Java是全世界使用人数最多的编程语言。不少程序员选择Java做为...

JAVA丶学习
04/25
0
0
推荐6款常用的Java开源报表制作工具

1.JasperReports是一个基于Java的开源报表工具,它可以在Java环境下像其他IDE报表工具一样来制作报表。JasperReports支持PDF、HTML、XLS、CSV和XML文件输出格式。JasperReports是当前Java开发...

李长春
2012/02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

WePY 开发指南注意事项

**** 1 代码规范 **** 1 变量与方法尽量使用驼峰式命名,并且注意避免使用$ 开头的标识为Wepy框架的内建属性和方法,可在JavaScript 脚步可以this的方式直接使用。2 小程序入口,页面,...

舒龙虎
28分钟前
3
0
70:shell脚本中的逻辑判断(文件目录属性判断、if判断、case用法)

1、shell脚本中的逻辑判断语法: 格式1:if 条件 ; then 语句 ; fi 格式2:if 条件 ; then 语句; else 语句;fi 格式3:if 条件; then 语句;elif 条件;then 语句;else 语句;fi 逻辑...

芬野de博客
28分钟前
2
0
Java调用脚本并输出脚本返回数据

public class ExecuteSHFile {private static Logger logger = LoggerFactory.getLogger(ExecuteSHFile.class);public static String executeSHFile(String shutdown_path) throws ......

Aeroever
30分钟前
1
0
MySQL常见错误

###Ignoring query to other database 登录数据库时 没有在用户名前加-u

我是菜鸟我骄傲
30分钟前
2
0
mysql之explain分析

我是参考这篇文章的 https://my.oschina.net/ruoli/blog/1807394

求是科技
32分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部