文档章节

azkaban3.x exec-server之jobtype

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:20
字数 326
阅读 275
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

1.复制编译后的jobtype到exec服务的插件下,

cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz
/home/app/azkaban/azkaban-exec-server/plugins/jobtypes
cd /home/app/azkaban/azkaban-exec-server/plugins/jobtypes
tar -zxvf azkaban-jobtype-${git.tag}.tar.gz
解压之后将azkaban-jobtype-${git.tag}目录下的内容移动到/home/app/azkaban/azkaban-exec-server/plugins/jobtypes目录,然后rm -rf azkaban-jobtype-${git.tag}

2.在/home/app/azkaban/azkaban-exec-server/conf/azkaban.properties配置文件里增加一行语句:

azkaban.jobtype.plugin.dir=plugins/jobtypes

3.vim plugins/jobtypes/common.properties

## everything that the user job can know
##配置hadoop、hive、spark home
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false

4.vim plugins/jobtypes/commonprivate.properties

## hadoop security manager setting common to all hadoop jobs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

## hadoop security related settings

# proxy.keytab.location=
# proxy.user=

# azkaban.should.proxy=true
 azkaban.should.proxy=false
# obtain.binary.token=true
 obtain.binary.token=false
# obtain.namenode.token=true
# obtain.jobtracker.token=true

# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf
# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
#jobtype.global.jvm.args=

# hadoop
#hadoop.home=/home/app/hadoop-2.7.2
#pig.home=
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#hive.home=
spark.home=/home/app/spark2.1
hadoop.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
jobtype.global.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
# configs for jobtype security settings
execute.as.user=tru

5.复制一份azkaban-jobtype-${git.tag}.jar到azkaban-exec-server/lib目录下

cp azkaban-exec-server/plugins/jobtypes/hdfsToTeradata/azkaban-exec-server/lib azkaban-exec-server/lib

 

© 著作权归作者所有

你我他有个梦

你我他有个梦

粉丝 97
博文 130
码字总数 109764
作品 0
通州
程序员
私信 提问
加载中

评论(0)

hadoop工作流引擎azkaban

介绍 Azkaban是twitter出的一个任务调度系统,操作比Oozie要简单很多而且非常直观,提供的功能比较简单。Azkaban以Flow为执行单元进行定时调度,Flow就是预定义好的由一个或多个可存在依赖关...

wayhk
2016/05/13
272
0
Azkaban3.X的安装(2018年8月19日最新版本)

###参考文章: 1.http://azkaban.github.io/azkaban/docs/latest/ 2.http://blog.csdn.net/gaoqida/article/details/72288900 3.http://blog.csdn.net/huohuotu/article/details/77487007 4......

osc_qbaf64b6
2018/03/16
2
0
Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
2018/04/20
0
0
Azkaban的Exec Server分析 30:JobRunner如何构造一个Job大揭秘

重点来了,JobRunner对象是有了,下面就真的要生成一个Job了,如何生成?本节揭秘! =========================================================================================== String...

强子哥哥
2016/04/11
534
0
Quartz.Net—JobBuilder

JobBuilder JobBuilder是一个建造者模式,链式建造。通过静态方法构建一个JobBuilder实例,然后再调用类方法Build()创建一个IJobDetail的实现。 1、静态方法 public static JobBuilder Creat...

osc_mhxmyy0u
2018/03/02
0
0

没有更多内容

加载失败,请刷新页面

加载更多

文献速递20200524

一 文献题目:Characterizing the Causal Pathway for Genetic Variants Associated with Neurological Phenotypes Using Human Brain-Derived Proteome Data 不想看英文题目:使用人脑蛋白质......

osc_mbhfa1vl
1分钟前
0
0
【Java入门】JDK安装和环境变量配置(Win7版)

系统环境:Windows7 x64 安装JDK和JRE版本:1.8.0_191 1、下载JDK安装包 Oracle官网下载网址:https://www.oracle.com/technetwork/java/javase/downloads/index.html 选择需要下载的JDK版本...

osc_s7aj86hu
3分钟前
0
0
Android Q 指纹解锁流程

Android Q 指纹解锁流程 // Authentation Finger Schedule: (close Screen, Authentation with finger(Success))        // PhoneWindowManager        mKeyguardDelegate.onStar......

osc_0qnrwmy3
4分钟前
0
0
List的扩容机制,你真的明白吗?

一:背景 1. 讲故事 在前一篇大内存排查中,我们看到了Dictionary正在做扩容操作,当时这个字典的count=251w,你把字典玩的66飞起,其实都是底层为你负重前行,比如其中的扩容机制,当你遇到...

osc_34b9n45c
6分钟前
0
0
2020.04.12软件更新公告

原创软件区升级ComicsViewer、DjVuToy、Pdg2Pic、PdgRenamer、PdgThumbViewer

osc_6tgtqi6v
6分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部