文档章节

azkaban3.x exec-server之jobtype

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:20
字数 326
阅读 26
收藏 0
点赞 0
评论 0

1.复制编译后的jobtype到exec服务的插件下,

cp dist/jobtype/packages/azkaban-jobtype-${git.tag}.tar.gz
/home/app/azkaban/azkaban-exec-server/plugins/jobtypes
cd /home/app/azkaban/azkaban-exec-server/plugins/jobtypes
tar -zxvf azkaban-jobtype-${git.tag}.tar.gz
解压之后将azkaban-jobtype-${git.tag}目录下的内容移动到/home/app/azkaban/azkaban-exec-server/plugins/jobtypes目录,然后rm -rf azkaban-jobtype-${git.tag}

2.在/home/app/azkaban/azkaban-exec-server/conf/azkaban.properties配置文件里增加一行语句:

azkaban.jobtype.plugin.dir=plugins/jobtypes

3.vim plugins/jobtypes/common.properties

## everything that the user job can know
##配置hadoop、hive、spark home
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false

4.vim plugins/jobtypes/commonprivate.properties

## hadoop security manager setting common to all hadoop jobs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

## hadoop security related settings

# proxy.keytab.location=
# proxy.user=

# azkaban.should.proxy=true
 azkaban.should.proxy=false
# obtain.binary.token=true
 obtain.binary.token=false
# obtain.namenode.token=true
# obtain.jobtracker.token=true

# global classpath items for all jobs. e.g. hadoop-core jar, hadoop conf
#jobtype.global.classpath=${hadoop.home}/*,${hadoop.home}/conf
# global jvm args for all jobs. e.g. java.io.temp.dir, java.library.path
#jobtype.global.jvm.args=

# hadoop
#hadoop.home=/home/app/hadoop-2.7.2
#pig.home=
hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#hive.home=
spark.home=/home/app/spark2.1
hadoop.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
jobtype.global.classpath=${hadoop.home}/etc/hadoop,${hadoop.home}/share/hadoop/common/*,${hadoop.home}/share/hadoop/common/lib/*,${hadoop.home}/share/hadoop/hdfs/*,${hadoop.home}/share/hadoop/hdfs/lib/*,${hadoop.home}/share/hadoop/yarn/*,${hadoop.home}/share/hadoop/yarn/lib/*,${hadoop.home}/share/hadoop/mapreduce/*,${hadoop.home}/share/hadoop/mapreduce/lib/*
# configs for jobtype security settings
execute.as.user=tru

5.复制一份azkaban-jobtype-${git.tag}.jar到azkaban-exec-server/lib目录下

cp azkaban-exec-server/plugins/jobtypes/hdfsToTeradata/azkaban-exec-server/lib azkaban-exec-server/lib

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 92
博文 110
码字总数 98858
作品 0
昌平
程序员
hadoop工作流引擎azkaban

介绍 Azkaban是twitter出的一个任务调度系统,操作比Oozie要简单很多而且非常直观,提供的功能比较简单。Azkaban以Flow为执行单元进行定时调度,Flow就是预定义好的由一个或多个可存在依赖关...

wayhk ⋅ 2016/05/13 ⋅ 0

Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz ⋅ 04/20 ⋅ 0

Azkaban的Exec Server分析 30:JobRunner如何构造一个Job大揭秘

重点来了,JobRunner对象是有了,下面就真的要生成一个Job了,如何生成?本节揭秘! =========================================================================================== String...

强子哥哥 ⋅ 2016/04/11 ⋅ 0

Spring4+Springmvc+quartz实现多线程动态定时调度

scheduler定时调度系统是大多行业项目都需要的,传统的spring-job模式,个人感觉已经out了,因为存在很多的问题,特别是定时调度的追加、修改、删除等,需要修改xml,xml的配置生效无非是热部...

原野先 ⋅ 2017/11/09 ⋅ 0

Groovy 脚本获取上游job传递的参数

我又一个Job A, Trigger 一个Job B, 在Job A 里面, predefined parameters 里面我定义了一个参数 jobType = typeOne. 在Job B 里面我要用到这个parameter,问:在 Job B里面我怎样用Groov...

忆瑶 ⋅ 2013/08/20 ⋅ 1

Azkaban的Web Server源码探究系列20:resolve&buildFlow

上节,我们加载了job的描述属性 + 正确性验证 ! ============================================================== stop in azkaban.project.DirectoryFlowLoader.resolveDependencies ===......

强子哥哥 ⋅ 2016/04/09 ⋅ 0

SharpBITS

A BITS wrapper library for .NET 2.0. 示例代码: BitsManager manager = new BitsManager(); manager.EnumJobs(JobOwner.CurrentUser); // populate current job list first BitsJob job ......

匿名 ⋅ 2010/10/07 ⋅ 0

简简单单检测oozie任务

oozie就是个大坑,如果避不开,好歹也简简单单地检测任务状态。 列出当前所有waiting和timeout任务依赖的数据, oozie jobs -jobtype coordinator grep -iE '(running)' sed -r 's/ +/ /g' s...

RoseRougE ⋅ 2016/12/08 ⋅ 0

工作流调度器Azkaban的安装配置

Azkaban安装部署 准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 目前azkaban只支持 mysql,需安装mysql服务器......

ChinaUnicom110 ⋅ 2017/09/29 ⋅ 0

java 基础知识之hadoop源码阅读必备

java 程序员你真的懂java吗? 一起来看下hadoop中的如何去使用java的 大数据是目前IT技术中最火热的话题,也是未来的行业方向,越来越多的人参与到大数据的学习行列中。从最基础的伪分布式环...

不语者 ⋅ 2016/11/03 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring Bean基础

1、Bean之间引用 <!--如果Bean配置在同一个XML文件中,使用local引用--><ref bean="someBean"/><!--如果Bean配置在不同的XML文件中,使用ref引用--><ref local="someBean"/> 其实两种......

霍淇滨 ⋅ 22分钟前 ⋅ 0

05、基于Consul+Upsync+Nginx实现动态负载均衡

1、Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/srcwget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consu......

北岩 ⋅ 24分钟前 ⋅ 0

Webpack 4 api 了解与使用

webpack 最近升级到了 v4.5+版 01 官方不再支持 node4 以下版本 官方不再支持 node4 以下版本官方不再支持 node4 以下的版本,所以如果你的node版本太低,先开始升级node吧!话说node10 ...

NDweb ⋅ 34分钟前 ⋅ 0

使用nodeJs安装Vue-cli

Vue脚手架就是一个Vue框架开发环境 脚手架的意思是帮你快速开始一个vue的项目,也就是给你一套vue的结构,包含基础的依赖库,只需要 npm install就可以安装,让我们不需要为了编辑或者一些其...

木筏笔歆 ⋅ 今天 ⋅ 0

【微信小程序开发实战】0x00.开发前准备工作

写在开始 本人资深后端码农一枚,近期项目需求,接触到了微信小程序,将学习过程整理成文分享给小伙伴们,由于是边学边整理难免有表述不对的地方,望大家及时指正,感谢。 本人微信号: dream...

dreamans ⋅ 今天 ⋅ 0

linux redis的安装和php7下安装redis扩展

安装redis服务器 (1)下载安装包: $ wget http://download.redis.io/releases/redis-2.8.17.tar.gz (2)编译程序: $ tar xzf redis-2.8.17.tar.gz $ cd redis-2.8.17 $ make $ cd src &&......

concat ⋅ 今天 ⋅ 0

Guava EventBus源码解析

一、EventBus使用场景示例 Guava EventBus是事件发布/订阅框架,采用观察者模式,通过解耦发布者和订阅者简化事件(消息)的传递。这有点像简化版的MQ,除去了Broker,由EventBus托管了订阅&...

SaintTinyBoy ⋅ 今天 ⋅ 0

http怎么做自动跳转https

Apache 版本 如果需要整站跳转,则在网站的配置文件的<Directory>标签内,键入以下内容: RewriteEngine on RewriteCond %{SERVER_PORT} !^443$ RewriteRule ^(.*)?$ https://%{SERVER_NAME......

Helios51 ⋅ 今天 ⋅ 0

Python爬虫,抓取淘宝商品评论内容

作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”...

python玩家 ⋅ 今天 ⋅ 0

MySQL 内核深度优化

MYSQL数据库适用场景广泛,相较于Oracle、DB2性价比更高,Web网站、日志系统、数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL 5.5版本开始默认引擎才是InnoDB事务...

java高级架构牛人 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部