文档章节

记 java 调用 ETL 工具 kettle 作业

skhuhu
 skhuhu
发布于 2016/09/29 17:27
字数 838
阅读 245
收藏 0
  1. import org.pentaho.di.core.database.DatabaseMeta;  
  2. import org.pentaho.di.core.exception.KettleException;  
  3. import org.pentaho.di.core.logging.LogWriter;  
  4. import org.pentaho.di.core.util.EnvUtil;  
  5. import org.pentaho.di.job.Job;  
  6. import org.pentaho.di.job.JobEntryLoader;  
  7. import org.pentaho.di.job.JobMeta;  
  8. import org.pentaho.di.repository.Repository;  
  9. import org.pentaho.di.repository.RepositoryDirectory;  
  10. import org.pentaho.di.repository.RepositoryMeta;  
  11. import org.pentaho.di.repository.UserInfo;  
  12. import org.pentaho.di.trans.StepLoader;  
  13. import org.pentaho.di.trans.Trans;  
  14. import org.pentaho.di.trans.TransMeta;  
  15.   
  16. /** 
  17.  * Java调用Kettle示例代码 
  18.  *  
  19.  * @author 李文锴 
  20.  * @since 2012-8-14 下午03:50:00 
  21.  *  
  22.  */  
  23. public class KettleTest {  
  24.   
  25.     public static void main(String[] args) throws KettleException {  
  26.         String filename = "voucher.ktr";  
  27.         // callNativeTrans(filename);  
  28.         // executeTrans();  
  29.         // executeJobs();  
  30.         callNativeTransWithParam(filename);  
  31.         System.out.println("ok");  
  32.     }  
  33.   
  34.     /** 
  35.      * 调用本地的转换文件 
  36.      *  
  37.      * @Description: 
  38.      * @param transFileName 
  39.      * @throws KettleException 
  40.      * @author 李文锴 
  41.      * @since:2012-8-15 下午02:58:41 
  42.      */  
  43.     public static void callNativeTrans(String transFileName) throws KettleException {  
  44.         // 初始化  
  45.         EnvUtil.environmentInit();  
  46.         StepLoader.init();  
  47.         // 转换元对象  
  48.         TransMeta transMeta = new TransMeta(transFileName);  
  49.         // 转换  
  50.         Trans trans = new Trans(transMeta);  
  51.         // 执行转换  
  52.         trans.execute(null);  
  53.         // 等待转换执行结束  
  54.         trans.waitUntilFinished();  
  55.     }  
  56.   
  57.     /** 
  58.      * 调用本地的转换文件(带参数) 
  59.      *  
  60.      * @Description: 
  61.      * @param transFileName 
  62.      * @throws KettleException 
  63.      * @author 李文锴 
  64.      * @since:2012-8-15 下午02:58:54 
  65.      */  
  66.     public static void callNativeTransWithParam(String transFileName) throws KettleException {  
  67.         // 初始化  
  68.         EnvUtil.environmentInit();  
  69.         StepLoader.init();  
  70.         // 转换元对象  
  71.         TransMeta transMeta = new TransMeta(transFileName);  
  72.         // 转换  
  73.         Trans trans = new Trans(transMeta);  
  74.         String[] params = {};  
  75.         // 执行转换  
  76.         trans.execute(params);  
  77.         // 等待转换执行结束  
  78.         trans.waitUntilFinished();  
  79.   
  80.     }  
  81.   
  82.     /** 
  83.      * 执行存储在数据库资源库中的转换 
  84.      *  
  85.      * @Description: 
  86.      * @throws KettleException 
  87.      * @author 李文锴 
  88.      * @since:2012-8-15 下午02:59:14 
  89.      */  
  90.     public static void executeTrans() throws KettleException {  
  91.         // 初始化  
  92.         EnvUtil.environmentInit();  
  93.         StepLoader.init();  
  94.         // 日志  
  95.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DEBUG);  
  96.         // 用户  
  97.         UserInfo userInfo = new UserInfo();  
  98.         userInfo.setLogin("admin");  
  99.         userInfo.setPassword("admin");  
  100.         // 数据库连接元对象(连接名称,不必与kettle中配置的保持一致:数据库类型:连接方式(kettle支持的连接方式):资源库IP:资源库实例名:资源库端口:资源库用户名:资源库用户密码)  
  101.         DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");  
  102.         // 资源库元对象  
  103.         RepositoryMeta repinfo = new RepositoryMeta();  
  104.         repinfo.setConnection(connection);  
  105.         // 资源库  
  106.         Repository rep = new Repository(log, repinfo, userInfo);  
  107.         // 连接资源库  
  108.         rep.connect("");  
  109.         // 资源库目录对象  
  110.         RepositoryDirectory dir = new RepositoryDirectory(rep);  
  111.         // 转换元对象  
  112.         TransMeta transMeta = new TransMeta(rep, "凭证(N9->EVC2)", dir);  
  113.         // 转换  
  114.         Trans trans = new Trans(transMeta);  
  115.         // 执行转换  
  116.         trans.execute(null);  
  117.         // 等待转换执行结束  
  118.         trans.waitUntilFinished();  
  119.     }  
  120.   
  121.     /** 
  122.      * 执行本地的任务文件 
  123.      *  
  124.      * @Description: 
  125.      * @param jobFileName 
  126.      * @throws KettleException 
  127.      * @author 李文锴 
  128.      * @since:2012-8-15 下午02:59:34 
  129.      */  
  130.     public static void callNativeJob(String jobFileName) throws KettleException {  
  131.         // 初始化  
  132.         EnvUtil.environmentInit();  
  133.         JobEntryLoader.init();  
  134.         StepLoader.init();  
  135.         // 日志  
  136.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);  
  137.         // job元对象  
  138.         JobMeta jobMeta = new JobMeta(log, jobFileName, null);  
  139.         // job  
  140.         Job job = new Job(log, StepLoader.getInstance(), null, jobMeta);  
  141.         jobMeta.setInternalKettleVariables(job);  
  142.         // 执行job  
  143.         job.execute();  
  144.         // 等待job执行结束  
  145.         job.waitUntilFinished();  
  146.     }  
  147.   
  148.     /** 
  149.      * 执行数据库资源库中的任务 
  150.      *  
  151.      * @Description: 
  152.      * @throws KettleException 
  153.      * @author 李文锴 
  154.      * @since:2012-8-15 下午02:59:45 
  155.      */  
  156.     public static void executeJobs() throws KettleException {  
  157.         // 初始化  
  158.         EnvUtil.environmentInit();  
  159.         JobEntryLoader.init();  
  160.         StepLoader.init();  
  161.         // 日志  
  162.         LogWriter log = LogWriter.getInstance("TransTest.log", true, LogWriter.LOG_LEVEL_DETAILED);  
  163.         // 用户  
  164.         UserInfo userInfo = new UserInfo();  
  165.         userInfo.setLogin("admin");  
  166.         userInfo.setPassword("admin");  
  167.         // 数据库连接元对象  
  168.         DatabaseMeta connection = new DatabaseMeta("", "Oracle", "Native", "192.168.3.232", "NSDEV", "1521", "nstcsa3441", "671468");  
  169.         // 资源库元对象  
  170.         RepositoryMeta repinfo = new RepositoryMeta();  
  171.         repinfo.setConnection(connection);  
  172.         // 资源库  
  173.         Repository rep = new Repository(log, repinfo, userInfo);  
  174.         // 连接资源库  
  175.         rep.connect("");  
  176.         // 资源库目录对象  
  177.         RepositoryDirectory dir = new RepositoryDirectory(rep);  
  178.         // 步骤加载对象  
  179.         StepLoader steploader = StepLoader.getInstance();  
  180.         // job元对象  
  181.         JobMeta jobmeta = new JobMeta(log, rep, "4.账户每日余额", dir);  
  182.         // job  
  183.         Job job = new Job(log, steploader, rep, jobmeta);  
  184.         // 执行job  
  185.         job.execute();  
  186.         // 等待job执行结束  
  187.         job.waitUntilFinished();  
  188.   
  189.     }  
  190.   
  191. }  

 

kettle 6.0 初始方法变动 

/**
 * 调用本地的转换文件
 */
public static void callNativeTrans(String transFileName) throws KettleException {
    // 初始化
    KettleEnvironment.init();
    // 转换元对象
    TransMeta transMeta = new TransMeta(transFileName);
    // 转换
    Trans trans = new Trans(transMeta);
    // 执行转换
    trans.execute(null);
    // 等待转换执行结束
    trans.waitUntilFinished();

    if (trans.getErrors() > 0) {
        throw new RuntimeException(
                "There were errors during transformation execution.");
    }
}

/**
 * 调用本地的转换文件(带参数)
 *
 */
public static void callNativeTransWithParam(String transFileName) throws KettleException {
    // 初始化
    KettleEnvironment.init();
    // 转换元对象
    TransMeta transMeta = new TransMeta(transFileName);
    // 转换
    Trans trans = new Trans(transMeta);
    String[] params = {};
    // 执行转换
    trans.execute(params);
    // 等待转换执行结束
    trans.waitUntilFinished();

    if (trans.getErrors() > 0) {
        throw new RuntimeException(
                "There were errors during transformation execution.");
    }
}

本文转载自:http://blog.csdn.net/scorpio3k/article/details/7869196

共有 人打赏支持
skhuhu
粉丝 7
博文 41
码字总数 774
作品 0
程序员
私信 提问
解决kettle调度效率低,不可高并发调度方法

“我在spoon里面运行一个作业只要几秒种,但是在命令行中运行却要好几十秒?” “并行同时运行几个job,就把内存撑爆了,Kettle好占资源呀!” Kettle作为用户规模最多的开源ETL工具,强大简...

波波夫空袭
2017/10/31
0
1
Kettle 与 Talend Open Studio 的 ETL 比较

Pentaho Data Integration (Kettle)是Pentaho生态系统中默认的ETL工具。通过非常直观的图形化编辑器(Spoon),您可以定义以XML格式储存的流程。在Kettle运行过程中,这些流程会以不同的方法...

ychenETL
2011/06/13
0
0
Kettle 8.1 RC 发布,开源 ETL 工具

Kettle 8.1 RC 发布了,下载地址: https://github.com/pentaho/pentaho-kettle/releases/tag/8.1.0.0-RC 改进记录请看: https://github.com/pentaho/pentaho-kettle/compare/8.1.0.0-RC........

红薯
2017/12/14
4.3K
8
开源 BI 系统相关知识综合解读

这些众多的BI(商业智能)项目从规模和对BI系统支撑的完善程度上来说,大体可以分为Framework、Stand-aloneTools和BISuit三种类型。 Framework 开源框架,这是在商业BI系统中所没有的。我们可...

红薯
2009/05/05
674
0
kettle 可以做SQL SERVER 对 SQL SERVER的数据转换吗

软件环境: 数据源:SQL Server 2000 目标数据库:Oracle 10g ETL数据转换工具:Kettle (Pentaho Data Integration 5.1当前最新版本) ETL连SQL Server 2000用的是sqljdbc.jar,用的是JNDI的...

slxx0712
2014/09/11
2.2K
2

没有更多内容

加载失败,请刷新页面

加载更多

错误: 找不到或无法加载主类

在IDEA的使用过程中,经常断掉服务或者重启服务,最近断掉服务重启时突然遇到了一个启动报错: 错误:找不到或无法加载主类 猜测:1,未能成功编译; 尝试:菜单---》Build---》Rebuild Pro...

安小乐
19分钟前
1
0
vue路由传参,刷新页面,引发的bug

最近遇到一个bug 通过vue路由跳转到页面, 然后接参控制(v-if ),成功显示 而刷新页面,显示失败。 苦苦地找了半天原因,打印参数发现正确,再打印下类型......,路由跳过来会保持传参时的...

hanbb
20分钟前
1
0
【58沈剑 架构师之路】InnoDB,select为啥会阻塞insert?

MySQL的InnoDB的细粒度行锁,是它最吸引人的特性之一。 但是,如《InnoDB,5项最佳实践》所述,如果查询没有命中索引,也将退化为表锁。 InnoDB的细粒度锁,是实现在索引记录上的。 一,Inn...

张锦飞
23分钟前
1
0
冒泡,选择和插入排序比较

/** * 冒泡排序,两层嵌套循环,内层局部比较后,找出最大或者最小数据并交换数据,使其局部有序,外层用于比较剩余元素,相较于选择排序,选择排序相当于是冒泡的一个优化版本(减少了交换...

strict_nerd
24分钟前
1
0
html内联(行内)元素、块级(块状)元素和行内块元素分类

HTML可以将元素分类方式分为内联(行内)元素、块级(块状)元素和行内块元素三种。 注:HTML是标签语言,那么既然是标签,就可以自己定义一些自己元素(如<wode>自定义的元素</wode>等),自...

NB-One
30分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部