文档章节

azkaban3.x exec-server之jobtype

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:20
字数 326
阅读 70
收藏 0

1.复制编译后的jobtype到exec服务的插件下,

cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz
/home/app/azkaban/azkaban-exec-server/plugins/jobtypes
cd /home/app/azkaban/azkaban-exec-server/plugins/jobtypes
tar -zxvf azkaban-jobtype-${git.tag}.tar.gz
解压之后将azkaban-jobtype-${git.tag}目录下的内容移动到/home/app/azkaban/azkaban-exec-server/plugins/jobtypes目录,然后rm -rf azkaban-jobtype-${git.tag}

2.在/home/app/azkaban/azkaban-exec-server/conf/azkaban.properties配置文件里增加一行语句:

azkaban.jobtype.plugin.dir=plugins/jobtypes

3.vim plugins/jobtypes/common.properties

## everything that the user job can know
##配置hadoop、hive、spark home
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false

4.vim plugins/jobtypes/commonprivate.properties

## hadoop security manager setting common to all hadoop jobs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

## hadoop security related settings

# proxy.keytab.location=
# proxy.user=

# azkaban.should.proxy=true
 azkaban.should.proxy=false
# obtain.binary.token=true
 obtain.binary.token=false
# obtain.namenode.token=true
# obtain.jobtracker.token=true

# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf
# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
#jobtype.global.jvm.args=

# hadoop
#hadoop.home=/home/app/hadoop-2.7.2
#pig.home=
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#hive.home=
spark.home=/home/app/spark2.1
hadoop.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
jobtype.global.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
# configs for jobtype security settings
execute.as.user=tru

5.复制一份azkaban-jobtype-${git.tag}.jar到azkaban-exec-server/lib目录下

cp azkaban-exec-server/plugins/jobtypes/hdfsToTeradata/azkaban-exec-server/lib azkaban-exec-server/lib

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 96
博文 110
码字总数 98858
作品 0
昌平
程序员
hadoop工作流引擎azkaban

介绍 Azkaban是twitter出的一个任务调度系统,操作比Oozie要简单很多而且非常直观,提供的功能比较简单。Azkaban以Flow为执行单元进行定时调度,Flow就是预定义好的由一个或多个可存在依赖关...

wayhk
2016/05/13
104
0
Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
04/20
0
0
Azkaban的Exec Server分析 30:JobRunner如何构造一个Job大揭秘

重点来了,JobRunner对象是有了,下面就真的要生成一个Job了,如何生成?本节揭秘! =========================================================================================== String...

强子哥哥
2016/04/11
341
0
Spring4+Springmvc+quartz实现多线程动态定时调度

scheduler定时调度系统是大多行业项目都需要的,传统的spring-job模式,个人感觉已经out了,因为存在很多的问题,特别是定时调度的追加、修改、删除等,需要修改xml,xml的配置生效无非是热部...

原野先
2017/11/09
0
0
Groovy 脚本获取上游job传递的参数

我又一个Job A, Trigger 一个Job B, 在Job A 里面, predefined parameters 里面我定义了一个参数 jobType = typeOne. 在Job B 里面我要用到这个parameter,问:在 Job B里面我怎样用Groov...

忆瑶
2013/08/20
799
1

没有更多内容

加载失败,请刷新页面

加载更多

关于pip

我在更新pip的时候碰到的一些问题。 第一次安装,直接安装就ok了,所以也没研究,没想到后来由于安装了python2.x和python3.x之后出现了问题。 如果要将pip更新到最新版本需要指明是哪个版本的...

恰东
34分钟前
1
0
对硬盘进行分区时,GPT和MBR有什么区别

在Windows 8或8.1中设置新磁盘时,系统会询问你是想要使用MBR还是GPT分区。GPT是一种新的标准,并在逐渐取代MBR。 GPT带来了很多新特性,但MBR仍然拥有最好的兼容性。GPT并不是Windows专用的...

yizhichao
36分钟前
3
0
区块链教程btcpool矿池源码分析StratumServer模块解析

兄弟连区块链教程btcpool矿池源码分析StratumServer模块解析 核心机制总结 接收的job延迟超过60秒将丢弃 如果job中prevHash与本地job中prevHash不同,即为已产生新块,job中isClean状态将置为...

兄弟连区块链入门教程
37分钟前
1
0
JS中的异常捕获

JS中的异常捕获(目的:把抛出的错误捕获到,不让其阻断浏览器的继续执行) try{//需要执行的JS代码(可能会报错)}catch(e){//try中代码报错,会执行catch}finally{//不管try中的代...

NDweb
47分钟前
2
0
ObjectARX_AcDb2dPolyline复杂实体

1遍历:访问或者编辑复杂实体也需要通过特定的方式。 AcDb2dPolyline的顶点信息不能通过AcDb2dPolyline对象直接得到,需要遍历AcDb2dPolyline所包含的AcDb2dVertex对象: void IteratePolylin...

一个小妞
49分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部