文档章节

azkaban3.x 之reportal插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:28
字数 333
阅读 567
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

reportal插件安装分为web-server和exec-server两部分。

web-server端:

1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下

2.将azkaban-hadoopsecuritymanageryarn-${git.tag}.jar放到reportal lib目录下用来支持azkaban.security.HadoopSecurityManager_H_2_0

替换其目录下的azkaban-hadoopsecuritymanager-2.2.0.jar以支持hadoop2.x

3.vim $AZKABAN-WEB-SERVER/plugin/viewer/reportal/conf/plugin.properties

viewer.name=Reportal
viewer.path=reportal
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib
viewer.servlet.class=azkaban.viewer.reportal.ReportalServlet
azkaban.should.proxy=true
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=true
reportal.output.filesystem=hdfs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

exec-server端:

1.reportal编译后将tar.gz文件解压,将jobtypes下所有以re开头的文件复制到azkaban-exec-server/plugins/jobtypes/目录下

cp -r reportal/jobtypes/re* /home/app/azkaban/azkaban-exec-server/plugins/jobtypes/

2.合并common.properties

## everything that the user job can know

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false
# This should be either 'local' or 'hdfs'
#reportal.output.filesystem=local
#reportal.output.dir=/tmp/reportal

reportal.execution.user=azkaban
#reportal.storage.user=reportal
reportal.default.timezone=Asia/Shanghai

3.复制azkaban-hadoopsecuritymanageryarn-${git.tag}.jar文件到 

reportalhive、reportaldatacollector、reportalteradata三个目录下

4.修改reportalhive/plugins.properties,hadoop.home和hive.home不需要,已经在jobtypes目录下的common.properties和commonprivate.properties文件中创建了。

job.class=azkaban.jobtype.ReportalHiveRunner

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1

env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=${hive.aux.jars.path}
hive.jvm.args=-Dhive.querylog.location=. -Dhive.exec.scratchdir=/tmp/hive-${user.to.proxy} -Dhive.aux.jars.path=${hive.aux.jars.path}
jobtype.global.jvm.args=${hive.jvm.args}
hive.aux.jars.path=${hive.home}/aux/lib

hadoop.dir.bin=${hadoop.home}/bin

5.private.properties

jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,./lib/*
jobtype.class=azkaban.jobtype.HadoopJavaJob

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1
hive.aux.jars.path=${hive.home}/aux/lib
env.HADOOP_HOME=${hadoop.home}
env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=file://${hive.aux.jars.path}

hadoop.dir.bin=${hadoop.home}/bin
hadoop.dir.conf=${hadoop.home}/conf

jobtype.global.classpath=${hive.classpath.items}
hive.classpath.items=./*,${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

 

© 著作权归作者所有

你我他有个梦

你我他有个梦

粉丝 97
博文 130
码字总数 109764
作品 0
通州
程序员
私信 提问
加载中

评论(0)

Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
2018/04/20
0
0
azkaban配置插件问题,跪求解答

配置web插件:hdfs、jobsummary、reportal,出现同样的问题某个类,但是在我的azkaban-web-server/plugins/viewer/hdfs/src/azkaban/viewer/hdfs在这个包下我是有HdfsBrowserServlet文件的,...

你我他有个梦
2017/08/11
1.4K
0
Azkaban3.X的安装(2018年8月19日最新版本)

###参考文章: 1.http://azkaban.github.io/azkaban/docs/latest/ 2.http://blog.csdn.net/gaoqida/article/details/72288900 3.http://blog.csdn.net/huohuotu/article/details/77487007 4......

osc_qbaf64b6
2018/03/16
2
0
[软件架构]基于PluginRT的插件编程

我在前面的一篇文章《反向(或者后向)插件系统设计》中介绍了一种实现插件架构的方法,但是没有给出实现的方法。本文就来讲一讲如何基于PluginRT进行插件编程。PluginRT是前面提到的插件系统...

梁欢
2014/10/11
499
0
设计一个框架化框架 Frontia

设计一个框架化框架 Frontia 结合动态加载系列文章的分析,现在开始设计并开发一个Android的插件化框架,命名为Frontia。Frontia有“前端”的意思,寓意着Android插件能像前端开发那样动态发...

Kaede
2017/11/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【JAVA习题五】将一个正整数分解质因数。例如:输入90,打印出90=2*3*3*5。

import java.util.Scanner;public class Fenjieshu分解数 { public static void main(String[] args) { // TODO Auto-generated method stub Scanner n=new Scanner(Sy......

osc_7rnzlqhm
22分钟前
24
0
Eclipse 安装Web Service、Axis2插件

Eclipse 安装Web Service、Axis2插件 一. 下载Apache Axis2及相关插件 下载地址: http://axis.apache.org/axis2/java/core/download.cgi 二. 解压 axis2-eclipse-codegen-plugin-1.7.3.zip......

osc_8hwmnuba
23分钟前
37
0
CAD如何输入文本?迅捷CAD编辑器文本输入更快捷

在CAD文件中,如何输入文本呢?相信很多小伙伴们,对于如何使用“迅捷CAD编辑器”给CAD文件输入文本,还是有些不够清楚的。那么,下面小编就给小伙伴们分享一下,如何使用它更快捷地输入文本...

深蓝月上
23分钟前
27
0
【金融】京东白条分期支付业务流程

1.京东白条分期支付业务流程 2.京东白条分期支付前端页面截图(H5) 2.1 京东商城 京东商城仅商详模块展示白条分期详情。包含: 2.2 京东数科(收银台) 2.2.1 判断是否登录 如果用户未登录,...

osc_wxsc35it
24分钟前
20
0
PDF怎么修改表单?高效办公就选这款PDF编辑器软件

在PDF文档中,怎么进行修改表单的操作呢?想要高效率的办公,小伙伴们就选择这款PDF编辑器软件吧。当面对一些需要进行修改表单操作的PDF文档,办公室小伙伴们是不是经常会感觉到头疼,不知道...

开源86
25分钟前
25
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部