文档章节

简简单单检测oozie任务

RoseRougE
 RoseRougE
发布于 2016/12/08 17:34
字数 135
阅读 22
收藏 0
点赞 0
评论 0

oozie就是个大坑,如果避不开,好歹也简简单单地检测任务状态。

列出当前所有waiting和timeout任务依赖的数据,

oozie jobs -jobtype coordinator | grep -iE '(running)' | sed -r 's/ +/ /g' | sed -r 's/^([^ ]+-C).+/\1/g' | while read coord; do echo $coord; oozie job -len 99999 -info $coord | sed -r '1,/^-+/d;1,/^-+/d' | grep -iE '(running|waiting|timeout)' | sed -r 's/^([^ ]+-C@[0-9]+).+/\1/g' | while read wf; do oozie job -info $wf | grep -E '^(ID|Created|Nominal Time|Status|Last Modified|First Missing Dependency)'; echo; done; done | grep 'First Missing Dependency' | grep -vE '\-$' | sed -r 's/^.+ hdfs:/hdfs:/g' | sort | uniq

 

© 著作权归作者所有

共有 人打赏支持
RoseRougE
粉丝 1
博文 2
码字总数 758
作品 0
朝阳
后端工程师
Oozie分布式工作流——Action节点

前篇讲述了下什么是流控制节点,本篇继续来说一下什么是 Action Nodes操作节点。Action节点有一些比较通用的特性: Action节点是远程的 所有oozie创建的计算和处理任务都是异步的,没有任何应...

青夜之衫 ⋅ 2017/12/04 ⋅ 0

图文并茂 —— 基于Oozie调度Sqoop

利用大数据来做BI分析的时候,必不可少需要设置一些调度任务。 本篇就讲述一下如何利用hue来编辑shell操作,这里面的很多操作在其他的调度操作里面也是可以借鉴的。 如果是linux里面可以直接...

青夜之衫 ⋅ 2017/12/04 ⋅ 0

基于Hadoop生态圈的数据仓库实践 —— ETL(三)

三、使用Oozie定期自动执行ETL 1. Oozie简介 (1)Oozie是什么 Oozie是一个管理Hadoop作业、可伸缩、可扩展、可靠的工作流调度系统,其工作流作业是由一系列动作构成的有向无环图(DAGs),协...

wzy0623 ⋅ 2016/07/11 ⋅ 0

oozie使用中的一些小结(持续完善)

0 关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录 ...

Zero零_度 ⋅ 2016/09/23 ⋅ 0

HAWQ取代传统数仓实践(五)——自动调度工作流(Oozie、Falcon)

一旦数据仓库开始使用,就需要不断从源系统给数据仓库提供新数据。为了确保数据流的稳定,需要使用所在平台上可用的任务调度器来调度ETL定期执行。调度模块是ETL系统必不可少的组成部分,它不...

wzy0623 ⋅ 2017/05/18 ⋅ 0

Oozie分布式任务的工作流——邮件篇

在大数据的当下,各种spark和hadoop的框架层出不穷。各种高端的计算框架,分布式任务如乱花般迷眼。你是否有这种困惑!——有了许多的分布式任务,但是每天需要固定时间跑任务,自己写个调度...

青夜之衫 ⋅ 2017/12/05 ⋅ 0

驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的。 Apache Oozie是一个用来管理Hadoop任务的工作流...

九劫散仙 ⋅ 2015/05/19 ⋅ 0

Oozie分布式任务的工作流——Sqoop篇

Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL,生成报表信息。 因此...

青夜之衫 ⋅ 2017/12/04 ⋅ 0

Oozie的架构

Oozie的架构图,如下:   从oozie的架构图中,可以看到所有的任务都是通过oozie生成相应的任务客户端,并通过任务客户端来提交相应的任务。 本文转自大数据躺过的坑博客园博客,原文链接:...

技术小哥哥 ⋅ 2017/11/20 ⋅ 0

Oozie分布式工作流——流控制

最近又开始捅咕上oozie了,所以回头还是翻译一下oozie的文档。文档里面最重要就属这一章了——工作流定义。 一提到工作流,首先想到的应该是工作流都支持哪些工作依赖关系,比如串式的执行,...

青夜之衫 ⋅ 2017/12/04 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JVM堆的理解

在JVM中,我们经常提到的就是堆了,堆确实很重要,其实,除了堆之外,还有几个重要的模块,看下图: 大 多数情况下,我们并不需要关心JVM的底层,但是如果了解它的话,对于我们系统调优是非常...

不羁之后 ⋅ 昨天 ⋅ 0

推荐:并发情况下:Java HashMap 形成死循环的原因

在淘宝内网里看到同事发了贴说了一个CPU被100%的线上故障,并且这个事发生了很多次,原因是在Java语言在并发情况下使用HashMap造成Race Condition,从而导致死循环。这个事情我4、5年前也经历...

码代码的小司机 ⋅ 昨天 ⋅ 1

聊聊spring cloud gateway的RetryGatewayFilter

序 本文主要研究一下spring cloud gateway的RetryGatewayFilter GatewayAutoConfiguration spring-cloud-gateway-core-2.0.0.RC2-sources.jar!/org/springframework/cloud/gateway/config/G......

go4it ⋅ 昨天 ⋅ 0

创建新用户和授予MySQL中的权限教程

导读 MySQL是一个开源数据库管理软件,可帮助用户存储,组织和以后检索数据。 它有多种选项来授予特定用户在表和数据库中的细微的权限 - 本教程将简要介绍一些选项。 如何创建新用户 在MySQL...

问题终结者 ⋅ 昨天 ⋅ 0

android -------- 颜色的半透明效果配置

最近有朋友问我 Android 背景颜色的半透明效果配置,我网上看资料,总结了一下, 开发中也是常常遇到的,所以来写篇博客 常用的颜色值格式有: RGB ARGB RRGGBB AARRGGBB 这4种 透明度 透明度...

切切歆语 ⋅ 昨天 ⋅ 0

CentOS开机启动subversion

建立自启动脚本: vim /etc/init.d/subversion 输入如下内容: #!/bin/bash## subversion startup script for the server## chkconfig: 2345 90 10# description: start the subve......

随风而飘 ⋅ 昨天 ⋅ 0

Nginx + uwsgi @ubuntu

uwsgi 安装 sudo apt-get install python3-pip # 注意 ubuntu python3默认没有安装pippython3 -m pip install uwsgi 代码(test.py) def application(env, start_response): start_res......

袁祾 ⋅ 昨天 ⋅ 0

版本控制工具

CSV , SVN , GIT ,VSS

颖伙虫 ⋅ 昨天 ⋅ 0

【2018.06.19学习笔记】【linux高级知识 13.1-13.3】

13.1 设置更改root密码 13.2 连接mysql 13.3 mysql常用命令

lgsxp ⋅ 昨天 ⋅ 0

LVM

LVM: 硬盘划分分区成物理卷->物理卷组成卷组->卷组划分逻辑分区。 1.磁盘分区: fdisk /dev/sdb 划分几个主分区 输入t更改每个分区类型为8e(LVM) 使用partprobe生成分区的文件:如/dev/sd...

ZHENG-JY ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部