文档章节

azkaban3.x 之reportal插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:28
字数 333
阅读 43
收藏 0

reportal插件安装分为web-server和exec-server两部分。

web-server端:

1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下

2.将azkaban-hadoopsecuritymanageryarn-${git.tag}.jar放到reportal lib目录下用来支持azkaban.security.HadoopSecurityManager_H_2_0

替换其目录下的azkaban-hadoopsecuritymanager-2.2.0.jar以支持hadoop2.x

3.vim $AZKABAN-WEB-SERVER/plugin/viewer/reportal/conf/plugin.properties

viewer.name=Reportal
viewer.path=reportal
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib
viewer.servlet.class=azkaban.viewer.reportal.ReportalServlet
azkaban.should.proxy=true
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=true
reportal.output.filesystem=hdfs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

exec-server端:

1.reportal编译后将tar.gz文件解压,将jobtypes下所有以re开头的文件复制到azkaban-exec-server/plugins/jobtypes/目录下

cp -r reportal/jobtypes/re* /home/app/azkaban/azkaban-exec-server/plugins/jobtypes/

2.合并common.properties

## everything that the user job can know

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false
# This should be either 'local' or 'hdfs'
#reportal.output.filesystem=local
#reportal.output.dir=/tmp/reportal

reportal.execution.user=azkaban
#reportal.storage.user=reportal
reportal.default.timezone=Asia/Shanghai

3.复制azkaban-hadoopsecuritymanageryarn-${git.tag}.jar文件到 

reportalhive、reportaldatacollector、reportalteradata三个目录下

4.修改reportalhive/plugins.properties,hadoop.home和hive.home不需要,已经在jobtypes目录下的common.properties和commonprivate.properties文件中创建了。

job.class=azkaban.jobtype.ReportalHiveRunner

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1

env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=${hive.aux.jars.path}
hive.jvm.args=-Dhive.querylog.location=. -Dhive.exec.scratchdir=/tmp/hive-${user.to.proxy} -Dhive.aux.jars.path=${hive.aux.jars.path}
jobtype.global.jvm.args=${hive.jvm.args}
hive.aux.jars.path=${hive.home}/aux/lib

hadoop.dir.bin=${hadoop.home}/bin

5.private.properties

jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,./lib/*
jobtype.class=azkaban.jobtype.HadoopJavaJob

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1
hive.aux.jars.path=${hive.home}/aux/lib
env.HADOOP_HOME=${hadoop.home}
env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=file://${hive.aux.jars.path}

hadoop.dir.bin=${hadoop.home}/bin
hadoop.dir.conf=${hadoop.home}/conf

jobtype.global.classpath=${hive.classpath.items}
hive.classpath.items=./*,${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 95
博文 110
码字总数 98858
作品 0
昌平
程序员
私信 提问
Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
04/20
0
0
azkaban配置插件问题,跪求解答

配置web插件:hdfs、jobsummary、reportal,出现同样的问题某个类,但是在我的azkaban-web-server/plugins/viewer/hdfs/src/azkaban/viewer/hdfs在这个包下我是有HdfsBrowserServlet文件的,...

你我他有个梦
2017/08/11
577
0
[软件架构]基于PluginRT的插件编程

我在前面的一篇文章《反向(或者后向)插件系统设计》中介绍了一种实现插件架构的方法,但是没有给出实现的方法。本文就来讲一讲如何基于PluginRT进行插件编程。PluginRT是前面提到的插件系统...

梁欢
2014/10/11
0
0
Elasticsearch 2.2.0 插件篇:插件清单

在Elasticsearch中非常多的插件,这些插件主要分成以下几类:API插件,报警插件,分析插件,发现插件,管理和站点插件,映射器插件,脚本插件,安全插件,快照/恢复插件,传输插件。 API插件...

赛克蓝德
2016/03/12
4.6K
0
构建自己的Qt插件系统

简述 Qt 本身提供了插件相关的技术,但并没有提供一个通用的插件框架!倘若要开发一个较大的 GUI 应用程序,并希望使其可扩展,那么拥有这样一个插件框架无疑会带来很大的好处。 根据 深入理...

u011012932
2017/11/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Confluence 6 配置边栏

如果你具有空间的管理员权限,你可以对空间的变量进行自定义,让你的空间具有自己的空间标识(logo),修改显示的继承关系和在空间中添加快捷方式以帮助用户在空间中进行快速导航。 希望开始...

honeymose
11分钟前
0
0
Ubuntu18.04 安装MySQL

1.安装MySQL sudo apt-get install mysql-server 2.配置MySQL sudo mysql_secure_installation 3.设置MySQL非root用户 设置原因:配置过程为系统root权限,在构建MySQL连接时出现错误:ERROR...

AI_SKI
今天
3
0
3.6 rc脚本(start方法) 3.7 rc脚本(stop和status方法) 3.8 rc脚本(以daemon方式启动)

3.6-3.7 rc脚本(start、stop和status方法) #!/usr/bin/env python# -*- coding: utf-8 -*-# [@Version](https://my.oschina.net/u/931210) : python 2.7# [@Time](https://my.oschina.......

隐匿的蚂蚁
今天
3
0
Cnn学习相关博客

CNN卷积神经网络原理讲解+图片识别应用(附源码) 笨方法学习CNN图像识别系列 深度学习图像识别项目(中):Keras和卷积神经网络(CNN) 卷积神经网络模型部署到移动设备 使用CNN神经网络进行...

-九天-
昨天
5
0
flutter 底部输入框 聊天输入框 Flexible

想在页面底部放个输入框,结果键盘一直遮住了,原来是布局问题 Widget build(BuildContext context) { return Scaffold( appBar: AppBar( title: Text("评论"), ...

大灰狼wow
昨天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部