文档章节

azkaban3.x 之reportal插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:28
字数 333
阅读 29
收藏 0

reportal插件安装分为web-server和exec-server两部分。

web-server端:

1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下

2.将azkaban-hadoopsecuritymanageryarn-${git.tag}.jar放到reportal lib目录下用来支持azkaban.security.HadoopSecurityManager_H_2_0

替换其目录下的azkaban-hadoopsecuritymanager-2.2.0.jar以支持hadoop2.x

3.vim $AZKABAN-WEB-SERVER/plugin/viewer/reportal/conf/plugin.properties

viewer.name=Reportal
viewer.path=reportal
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib
viewer.servlet.class=azkaban.viewer.reportal.ReportalServlet
azkaban.should.proxy=true
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=true
reportal.output.filesystem=hdfs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

exec-server端:

1.reportal编译后将tar.gz文件解压,将jobtypes下所有以re开头的文件复制到azkaban-exec-server/plugins/jobtypes/目录下

cp -r reportal/jobtypes/re* /home/app/azkaban/azkaban-exec-server/plugins/jobtypes/

2.合并common.properties

## everything that the user job can know

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false
# This should be either 'local' or 'hdfs'
#reportal.output.filesystem=local
#reportal.output.dir=/tmp/reportal

reportal.execution.user=azkaban
#reportal.storage.user=reportal
reportal.default.timezone=Asia/Shanghai

3.复制azkaban-hadoopsecuritymanageryarn-${git.tag}.jar文件到 

reportalhive、reportaldatacollector、reportalteradata三个目录下

4.修改reportalhive/plugins.properties,hadoop.home和hive.home不需要,已经在jobtypes目录下的common.properties和commonprivate.properties文件中创建了。

job.class=azkaban.jobtype.ReportalHiveRunner

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1

env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=${hive.aux.jars.path}
hive.jvm.args=-Dhive.querylog.location=. -Dhive.exec.scratchdir=/tmp/hive-${user.to.proxy} -Dhive.aux.jars.path=${hive.aux.jars.path}
jobtype.global.jvm.args=${hive.jvm.args}
hive.aux.jars.path=${hive.home}/aux/lib

hadoop.dir.bin=${hadoop.home}/bin

5.private.properties

jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,./lib/*
jobtype.class=azkaban.jobtype.HadoopJavaJob

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1
hive.aux.jars.path=${hive.home}/aux/lib
env.HADOOP_HOME=${hadoop.home}
env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=file://${hive.aux.jars.path}

hadoop.dir.bin=${hadoop.home}/bin
hadoop.dir.conf=${hadoop.home}/conf

jobtype.global.classpath=${hive.classpath.items}
hive.classpath.items=./*,${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 93
博文 110
码字总数 98858
作品 0
昌平
程序员
azkaban配置插件问题,跪求解答

配置web插件:hdfs、jobsummary、reportal,出现同样的问题某个类,但是在我的azkaban-web-server/plugins/viewer/hdfs/src/azkaban/viewer/hdfs在这个包下我是有HdfsBrowserServlet文件的,...

你我他有个梦
2017/08/11
32
0
Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
04/20
0
0
Elasticsearch 2.2.0 插件篇:插件清单

在Elasticsearch中非常多的插件,这些插件主要分成以下几类:API插件,报警插件,分析插件,发现插件,管理和站点插件,映射器插件,脚本插件,安全插件,快照/恢复插件,传输插件。 API插件...

赛克蓝德
2016/03/12
4.6K
0
[软件架构]基于PluginRT的插件编程

我在前面的一篇文章《反向(或者后向)插件系统设计》中介绍了一种实现插件架构的方法,但是没有给出实现的方法。本文就来讲一讲如何基于PluginRT进行插件编程。PluginRT是前面提到的插件系统...

梁欢
2014/10/11
0
0
构建自己的Qt插件系统

简述 Qt 本身提供了插件相关的技术,但并没有提供一个通用的插件框架!倘若要开发一个较大的 GUI 应用程序,并希望使其可扩展,那么拥有这样一个插件框架无疑会带来很大的好处。 根据 深入理...

u011012932
2017/11/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

深夜胡思乱想

魔兽世界 最近魔兽世界出了新版本, 周末两天升到了满级,比之前的版本体验好很多,做任务不用抢怪了,不用组队打怪也是共享拾取的。技能简化了很多,哪个亮按哪个。 运维 服务器 产品 之间的...

Firxiao
12分钟前
0
0
MySQL 8 在 Windows 下安装及使用

MySQL 8 带来了全新的体验,比如支持 NoSQL、JSON 等,拥有比 MySQL 5.7 两倍以上的性能提升。本文讲解如何在 Windows 下安装 MySQL 8,以及基本的 MySQL 用法。 下载 下载地址 https://dev....

waylau
46分钟前
0
0
微信第三方平台 access_token is invalid or not latest

微信第三方开发平台code换session_key说的特别容易,但是我一使用就带来无穷无尽的烦恼,搞了一整天也无济于事. 现在记录一下解决问题的过程,方便后来人参考. 我遇到的这个问题搜索了整个网络也...

自由的开源
今天
0
0
openJDK之sun.misc.Unsafe类CAS底层实现

注:这篇文章参考了https://www.cnblogs.com/snowater/p/8303698.html 1.sun.misc.Unsafe中CAS方法 在sun.misc.Unsafe中CAS方法如下: compareAndSwapObject(java.lang.Object arg0, long a......

汉斯-冯-拉特
今天
2
0
设计模式之五 责任链模式(Chain of Responsibility)

一. 场景 相信我们都有过这样的经历; 我们去职能部门办理一个事情,先去了A部门,到了地方被告知这件事情由B部门处理; 当我们到了B部门的时候,又被告知这件事情已经移交给了C部门处理; ...

JackieRiver
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部