文档章节

为何使用oozie coordinator

水东流
 水东流
发布于 2016/07/07 11:27
字数 390
阅读 8
收藏 0

Oozie所支持工作流,工作流定义通过将多个Hadoop Job的定义按照一定的顺序组织起来,然后作为一个整体按照既定的路径运行。一个工作流已经定义了,通过启动该工作流Job,就会执行该工作流中包含的多个Hadoop Job,直到完成,这就是工作流Job的生命周期。 
那么,现在我们有一个工作流Job,希望每天半夜00:00启动运行,我们能够想到的就是通过写一个定时脚本来调度程序运行。如果我们有多个工作流Job,使用crontab的方式调用可能需要编写大量的脚本,还要通过脚本来控制好各个工作流Job的执行时序问题,不但脚本不好维护,而且监控也不方便。基于这样的背景,Oozie提出了Coordinator的概念,他们能够将每个工作流Job作为一个动作(Action)来运行,相当于工作流定义中的一个执行节点(我们可以理解为工作流的工作流),这样就能够将多个工作流Job组织起来,称为Coordinator Job,并指定触发时间和频率,还可以配置数据集、并发数等。一个Coordinator Job包含了在Job外部设置执行周期和频率的语义,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。

© 著作权归作者所有

水东流
粉丝 4
博文 51
码字总数 23858
作品 0
海淀
程序员
私信 提问
为何使用kindEditor,在内容展现页面 还出现

@Roddy 你好,想跟你请教个问题: 为何使用kindEditor,提交后,在内容展现页面 还出现 、 为何没有转义呢 ?并且使用序号时,内容展现页面出现 查看了数据库 数据库中存的也含有 、...

sungirl_yq
2013/03/07
1K
2
TP3.2模板包含文件问题

想问问,THINKPHP3.2,为何使用INCLUDE包含HTML的路径为何什么都没有输出,就连模块名操作方式也没有任何输出? 求解答!!!

逸仙流
2014/07/22
2.3K
5
Python守护进程命令,为何被黑客钟意?整蛊、木马都用得上它!

得上它! 考虑一下利用Python制作一个整蛊、木马软件,我提供思路。(清楚到没学过编程的人也理解) 1、首先一个黑客做一个整蛊或者木马软件,一定不会让你能够关闭它。 2、里面经常会附带欺...

Python新世界
2018/07/07
0
0
c++里,中文的大小比较是怎样的?​

大家好,本人初学C++,使用的编译器: gcc version 4.8.2 (Ubuntu 4.8.2-19ubuntu1) 下面代码,为何是为何输出是if的代码块?也就是说c++里,中文的大小比较是怎样的? if ("刘备" < "曹操") ...

fsxchen
2014/12/08
454
6
继续求解StringBuilder

如上图所示:CharSequence接口中 有方法length、charAt、subSequence、toString四个方法,StringBuilder的父类AbstractStringBuilder已经实现了CharSequence中的这几个方法。为何子类StringB...

六只
2012/01/31
1K
7

没有更多内容

加载失败,请刷新页面

加载更多

Mybatis 源码(二)Mybatis 初始化

Mybatis 初始化是由SqlSessionFactoryBuilder来完成的,主要的工作解析XML文件,并将解析的类容封装到Configuration类中,最后将Configuration类封装到SqlSessionFactory中并返回,自此初始化...

xiaolyuh
21分钟前
7
0
约瑟夫环问题

约瑟夫环问题的原来描述为,设有编号为1,2,……,n的n(n>0)个人围成一个圈,从第1个人开始报数,报到m时停止报数,报m的人出圈,再从他的下一个人起重新报数,报到m时停止报数,报m的出圈,...

mskk
30分钟前
4
0
JEP解读与尝鲜系列1 - Java Valhalla与Java Inline class

涉及到的JEP: Project Valhalla JEP 169: Value Objects JEP 218: Generics over Primitive Types 这些特性将在JDK14实现 Valhalla项目背景 最主要的一点就是,让Java适应现代硬件:在Java语...

zhxhash
32分钟前
8
0
总结:Redis集群

一、redis集群方案 Master-slave方式,Master和Slave的数据一致,Slave从Master同步数据,然后通过Sentinal(哨兵)监控Master和Slave的健康状态,当异常的时候迅速切换,如Master宕机的时候...

浮躁的码农
35分钟前
6
0
三个盘子的汉诺塔

package base;/** * 汉诺塔 */public class TowerApp { static int nDisks = 3; public static void main(String[] args) { doTowers(nDisks, 'A','B',......

clean123
37分钟前
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部