文档章节

简简单单检测oozie任务

RoseRougE
 RoseRougE
发布于 2016/12/08 17:34
字数 135
阅读 27
收藏 0

oozie就是个大坑,如果避不开,好歹也简简单单地检测任务状态。

列出当前所有waiting和timeout任务依赖的数据,

oozie jobs -jobtype coordinator | grep -iE '(running)' | sed -r 's/ +/ /g' | sed -r 's/^([^ ]+-C).+/\1/g' | while read coord; do echo $coord; oozie job -len 99999 -info $coord | sed -r '1,/^-+/d;1,/^-+/d' | grep -iE '(running|waiting|timeout)' | sed -r 's/^([^ ]+-C@[0-9]+).+/\1/g' | while read wf; do oozie job -info $wf | grep -E '^(ID|Created|Nominal Time|Status|Last Modified|First Missing Dependency)'; echo; done; done | grep 'First Missing Dependency' | grep -vE '\-$' | sed -r 's/^.+ hdfs:/hdfs:/g' | sort | uniq

 

© 著作权归作者所有

共有 人打赏支持
RoseRougE
粉丝 1
博文 2
码字总数 758
作品 0
朝阳
后端工程师
私信 提问
图文并茂 —— 基于Oozie调度Sqoop

利用大数据来做BI分析的时候,必不可少需要设置一些调度任务。 本篇就讲述一下如何利用hue来编辑shell操作,这里面的很多操作在其他的调度操作里面也是可以借鉴的。 如果是linux里面可以直接...

青夜之衫
2017/12/04
0
0
Oozie分布式工作流——Action节点

前篇讲述了下什么是流控制节点,本篇继续来说一下什么是 Action Nodes操作节点。Action节点有一些比较通用的特性: Action节点是远程的 所有oozie创建的计算和处理任务都是异步的,没有任何应...

青夜之衫
2017/12/04
0
0
基于Hadoop生态圈的数据仓库实践 —— ETL(三)

三、使用Oozie定期自动执行ETL 1. Oozie简介 (1)Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统,其工作流作业是由一系列动作构成的有向无环图(DAGs),协...

wzy0623
2016/07/11
0
0
oozie使用中的一些小结(持续完善)

0 关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录 ...

Zero零_度
2016/09/23
12
0
HAWQ取代传统数仓实践(五)——自动调度工作流(Oozie、Falcon)

一旦数据仓库开始使用,就需要不断从源系统给数据仓库提供新数据。为了确保数据流的稳定,需要使用所在平台上可用的任务调度器来调度ETL定期执行。调度模块是ETL系统必不可少的组成部分,它不...

wzy0623
2017/05/18
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Jrebel 激活服务,在springboot上面的进行热部署

1.安装JRebel 下载Jrebel插件,官网需要翻墙下载,需要的可以在csdn的下载区去进行下载 打开idea,File->settings 然后重启idea 2.破解JRebel 首先HELP -> JRebel -> Activation 在jrebel se...

glen_xu
50分钟前
1
0
设置版头的图片+网页布局

1.div的background-image(推荐) 2.div+image 1.是只有部分图,2是压图 1.frame 2.js(推荐) 因为frame不好设置大小

木之下
54分钟前
0
0
MyBatis组件之缓存实现及使用

一 .概述 先讲缓存实现,主要是mybatis一级缓存,二级缓存及缓存使用后续补充 Mybatis缓存的实现是基于Map的,从缓存里面读写数据是缓存模块的核心基础功能; 除核心功能之外,有很多额外的附...

Ala6
今天
1
0
SpringBoot中使用@RequestBody时如何自定义需要转换的日期格式

SpringBoot序列化和反序列化Json时默认使用的是Jackson(例如使用@RequestBody反序列化前端传递过来的Json字符串时), 当我们前端使用Json字符串传递到后台时日期格式可能是时间戳(即long类...

帅得拖网速
今天
1
0
可自定义扩展底部列表对话框ListBottomSheetDialogFragment

因为需要,为了方便,构建了一个可以自定义扩展的底部列表对话框,可以应付大部分场景。 效果图如下: 1.默认实现: 2.自定义列表实现 3.自定义头部和列表实现 一.可实现功能 1.默认可实现通...

明月春秋
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部