文档章节

azkaban3.x 之reportal插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:28
字数 333
阅读 38
收藏 0

reportal插件安装分为web-server和exec-server两部分。

web-server端:

1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下

2.将azkaban-hadoopsecuritymanageryarn-${git.tag}.jar放到reportal lib目录下用来支持azkaban.security.HadoopSecurityManager_H_2_0

替换其目录下的azkaban-hadoopsecuritymanager-2.2.0.jar以支持hadoop2.x

3.vim $AZKABAN-WEB-SERVER/plugin/viewer/reportal/conf/plugin.properties

viewer.name=Reportal
viewer.path=reportal
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib
viewer.servlet.class=azkaban.viewer.reportal.ReportalServlet
azkaban.should.proxy=true
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=true
reportal.output.filesystem=hdfs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

exec-server端:

1.reportal编译后将tar.gz文件解压,将jobtypes下所有以re开头的文件复制到azkaban-exec-server/plugins/jobtypes/目录下

cp -r reportal/jobtypes/re* /home/app/azkaban/azkaban-exec-server/plugins/jobtypes/

2.合并common.properties

## everything that the user job can know

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false
# This should be either 'local' or 'hdfs'
#reportal.output.filesystem=local
#reportal.output.dir=/tmp/reportal

reportal.execution.user=azkaban
#reportal.storage.user=reportal
reportal.default.timezone=Asia/Shanghai

3.复制azkaban-hadoopsecuritymanageryarn-${git.tag}.jar文件到 

reportalhive、reportaldatacollector、reportalteradata三个目录下

4.修改reportalhive/plugins.properties,hadoop.home和hive.home不需要,已经在jobtypes目录下的common.properties和commonprivate.properties文件中创建了。

job.class=azkaban.jobtype.ReportalHiveRunner

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1

env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=${hive.aux.jars.path}
hive.jvm.args=-Dhive.querylog.location=. -Dhive.exec.scratchdir=/tmp/hive-${user.to.proxy} -Dhive.aux.jars.path=${hive.aux.jars.path}
jobtype.global.jvm.args=${hive.jvm.args}
hive.aux.jars.path=${hive.home}/aux/lib

hadoop.dir.bin=${hadoop.home}/bin

5.private.properties

jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,./lib/*
jobtype.class=azkaban.jobtype.HadoopJavaJob

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1
hive.aux.jars.path=${hive.home}/aux/lib
env.HADOOP_HOME=${hadoop.home}
env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=file://${hive.aux.jars.path}

hadoop.dir.bin=${hadoop.home}/bin
hadoop.dir.conf=${hadoop.home}/conf

jobtype.global.classpath=${hive.classpath.items}
hive.classpath.items=./*,${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 96
博文 110
码字总数 98858
作品 0
昌平
程序员
azkaban配置插件问题,跪求解答

配置web插件:hdfs、jobsummary、reportal,出现同样的问题某个类,但是在我的azkaban-web-server/plugins/viewer/hdfs/src/azkaban/viewer/hdfs在这个包下我是有HdfsBrowserServlet文件的,...

你我他有个梦
2017/08/11
32
0
Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
04/20
0
0
Elasticsearch 2.2.0 插件篇:插件清单

在Elasticsearch中非常多的插件,这些插件主要分成以下几类:API插件,报警插件,分析插件,发现插件,管理和站点插件,映射器插件,脚本插件,安全插件,快照/恢复插件,传输插件。 API插件...

赛克蓝德
2016/03/12
4.6K
0
构建自己的Qt插件系统

简述 Qt 本身提供了插件相关的技术,但并没有提供一个通用的插件框架!倘若要开发一个较大的 GUI 应用程序,并希望使其可扩展,那么拥有这样一个插件框架无疑会带来很大的好处。 根据 深入理...

u011012932
2017/11/08
0
0
[软件架构]基于PluginRT的插件编程

我在前面的一篇文章《反向(或者后向)插件系统设计》中介绍了一种实现插件架构的方法,但是没有给出实现的方法。本文就来讲一讲如何基于PluginRT进行插件编程。PluginRT是前面提到的插件系统...

梁欢
2014/10/11
0
0

没有更多内容

加载失败,请刷新页面

加载更多

【大福利】极客时间专栏返现二维码大汇总

我已经购买了如下专栏,大家通过我的二维码你可以获得一定额度的返现! 然后,再给大家来个福利,只要你通过我的二维码购买,并且关注了【飞鱼说编程】公众号,可以加我微信或者私聊我,我再...

飞鱼说编程
今天
1
0
Spring5对比Spring3.2源码之容器的基本实现

最近看了《Spring源码深度解析》,该书是基于Spring3.2版本的,其中关于第二章容器的基本实现部分,目前spring5的实现方式已有较大改变。 Spring3.2的实现: public void testSimpleLoad(){...

Ilike_Java
今天
1
0
【王阳明心学语录】-001

1.“破山中贼易,破心中贼难。” 2.“夫万事万物之理不外于吾心。” 3.“心即理也。”“心外无理,心外无物,心外无事。” 4.“人心之得其正者即道心;道心之失其正者即人心。” 5.“无...

卯金刀GG
今天
2
0
OSChina 周三乱弹 —— 我们无法成为野兽

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ _刚刚好: 霸王洗发水这波很骚 手机党少年们想听歌,请使劲儿戳(这里) hahahahahahh @嘻酱:居然忘了喝水。 让你喝可乐的话, 你准忘不了...

小小编辑
今天
10
0
vm GC 日志 配置及查看

-XX:+PrintGCDetails 打印 gc 日志 -XX:+PrintTenuringDistribution 监控晋升分布 -XX:+PrintGCTimeStamps 包含时间戳 -XX:+printGCDateStamps 包含时间 -Xloggc:<filename> 可以将数据保存为......

Canaan_
昨天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部