文档章节

azkaban应用笔记

了凡川
 了凡川
发布于 01/02 15:58
字数 617
阅读 15
收藏 0

1.Azakaban参数

参数传递时调度系统工作流运行时非常重要的一部分,工作流的执行,单个作业的执行,多个工作流之间的依赖执行,历史任务重算,都涉及参数传递和同步。Azkaban参数有如下几个类型

参数类型

参数的作用域

UI 页面输入参数

flow全局有效

工作流ZIP压缩包中的properties文件

flow全局有效,zip文件目录以及子目录有效

工作流运行时参数

flow全局有效

环境变量参数

flow全局有效

job的common参数

job内局部有效

JOB文件中定义的参数

job内局部有效

上游作业传递给下游的参数

job内局部有效

全局参数,在整个工作流的作业文件配置中,都可以通过 ${参数名} 的方式引用使用。

1.1运行时参数 

参数 说明 示例
azkaban.job.attempt job重试次数,从0开始增加  
azkaban.job.id 运行的job name  
azkaban.flow.flowid 运行的job的flow name  
azkaban.flow.execid flow的执行id  
azkaban.flow.projectid 工程id  
azkaban.flow.projectversion project上传的版本  
azkaban.flow.uuid flow uuid  dcc6a128-cd65-4ecc-8ebc-5451859c75cd
azkaban.flow.start.timestamp flow start的时间戳 2019-01-02T15:44:40.375+08:00
azkaban.flow.start.year flow start的年份 2019
azkaban.flow.start.month flow start 的月份 01
azkaban.flow.start.day flow start 的天 02
azkaban.flow.start.hour flow start的小时 15
azkaban.flow.start.minute start 分钟 44
azkaban.flow.start.second start 秒 40
azkaban.flow.start.millseconds start的毫秒  
azkaban.flow.start.timezone start 的时区  

 

2.curl命令行执行Azkaban调度

2.1执行某个作业流

Step1.获取session_id。

假设azkaban部署到本地localhost,端口为8888,通过用户名${azkaban_user}和密码${passwd}获取session_id

-bash-4.2$ curl -k -X POST --data "action=login&username=${azkaban_user}&password=${passwd}" http://localhost:8888
{
  "session.id" : "db433757-91ae-4b1c-bbb3-d69b4c91bacf",
  "status" : "success"
}

Step2.调用远程作业流

通过curl命令调度属于工程名为${p[roject_name}下的流${flow_name},传入执行参数etl_date=201812。如果有多个参数在第一个参数后面接着加--data选项就可以了。

-bash-4.2$ curl -k --get --data session.id="db433757-91ae-4b1c-bbb3-d69b4c91bacf" --data 'ajax=executeFlow'  --data project="${project_name}" --data flow="${flow_name}"  --data flowOverride[etl_date]="201812" http://localhost:8888/executor
{
  "project" : "xxx",
  "message" : "Execution submitted successfully with exec id 5827",
  "flow" : "xxxxxxxx",
  "execid" : 5827
}

 

© 著作权归作者所有

共有 人打赏支持
上一篇: Hive日期函数笔记
下一篇: 一个想法
了凡川
粉丝 0
博文 52
码字总数 24599
作品 0
九龙坡
数据库管理员
私信 提问
关于JavaProcess的一些笔记

1)java进程退出时,退出码的选择 要考虑代码内部的, azkaban-common/src/main/java/azkaban/jobExecutor/utils/process/AzkabanProcess.java if (exitCode != 0) { String output = new St......

强子哥哥
2016/04/19
148
0
工作流调度器Azkaban的安装配置

Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器......

ChinaUnicom110
2017/09/29
0
0
【Azkaban搭建】---Azkaban 3.25.0搭建细则 超实用

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/LHWorldBlog/article/details/84305321 drop table active_sla;drop table execution_flows;drop table execu......

LHWorldBlog
2018/11/02
0
0
Azkaban Two Server模式部署

Azkaban Two Server模式部署 Two Server模式就是把Azkaban和MySQL进行了分离,下面就介绍一下这种部署模式。 1、准备工作 1.结点规划 node1:azkaban-web、azkaban-exec node2:MySQL 这里本...

星汉
2018/12/29
0
0
Azkaban的定时调度任务分析34:定时执行下文

下面说线程azkaban.trigger.TriggerManager.TriggerScannerThread是如何运作的 1)初始化 stop in azkaban.trigger.TriggerManager$TriggerScannerThread.xxx run 初始化的上下文是: java.l......

强子哥哥
2016/04/12
189
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 世界的源代码

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @小鱼丁 :#今日歌曲推荐# 分享Jason Mraz的单曲《Prettiest Friend (Demo)》: 《Prettiest Friend (Demo)》- Jason Mraz 手机党少年们想听歌...

小小编辑
今天
59
5
java框架学习日志-13(Mybatis基本概念和简单的例子)

在mybatis初次学习Mybatis的时候,遇到了很多问题,虽然阿里云的视频有教学,但是视频教学所使用的软件和我自己使用的软件不用,我自己用的数据库是oracle数据库,开发环境是idea。而且视频中...

白话
今天
10
0
Java基础:String、StringBuffer和StringBuilder的区别

1 String String:字符串常量,字符串长度不可变。Java中String是immutable(不可变)的。 String类的包含如下定义: /** The value is used for character storage. */private final cha...

watermelon11
今天
6
0
mogodb服务

部署MongoDB 官网: https://www.mongodb.com/download-center/community 创建mongo数据目录 mkdir /data/mongodb 二进制部署 wget -c https://fastdl.mongodb.org/linux/mongodb-linux-x8......

以谁为师
昨天
5
0
大神教你Debian GNU/Linux 9.7 “Stretch” Live和安装镜像开放下载

Debian项目团队于昨天发布了Debian GNU/Linux 9 "Stretch" 的第7个维护版本更新,重点修复了APT软件管理器中存在的安全漏洞。在敦促每位用户尽快升级系统的同时,Debian团队还发布了Debian ...

linux-tao
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部