文档章节

azkaban3.x 之reportal插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:28
字数 333
阅读 21
收藏 0
点赞 0
评论 0

reportal插件安装分为web-server和exec-server两部分。

web-server端:

1.将解压出的文件夹下 ./viewer/reportal目录拷贝到$AZKABAN-WEB-SERVER/plugin/viewer目录下

2.将azkaban-hadoopsecuritymanageryarn-${git.tag}.jar放到reportal lib目录下用来支持azkaban.security.HadoopSecurityManager_H_2_0

替换其目录下的azkaban-hadoopsecuritymanager-2.2.0.jar以支持hadoop2.x

3.vim $AZKABAN-WEB-SERVER/plugin/viewer/reportal/conf/plugin.properties

viewer.name=Reportal
viewer.path=reportal
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib
viewer.servlet.class=azkaban.viewer.reportal.ReportalServlet
azkaban.should.proxy=true
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=true
reportal.output.filesystem=hdfs
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0

exec-server端:

1.reportal编译后将tar.gz文件解压,将jobtypes下所有以re开头的文件复制到azkaban-exec-server/plugins/jobtypes/目录下

cp -r reportal/jobtypes/re* /home/app/azkaban/azkaban-exec-server/plugins/jobtypes/

2.合并common.properties

## everything that the user job can know

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
#pig.home=
spark.home=/home/app/spark2.1

azkaban.should.proxy=false
# This should be either 'local' or 'hdfs'
#reportal.output.filesystem=local
#reportal.output.dir=/tmp/reportal

reportal.execution.user=azkaban
#reportal.storage.user=reportal
reportal.default.timezone=Asia/Shanghai

3.复制azkaban-hadoopsecuritymanageryarn-${git.tag}.jar文件到 

reportalhive、reportaldatacollector、reportalteradata三个目录下

4.修改reportalhive/plugins.properties,hadoop.home和hive.home不需要,已经在jobtypes目录下的common.properties和commonprivate.properties文件中创建了。

job.class=azkaban.jobtype.ReportalHiveRunner

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1

env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=${hive.aux.jars.path}
hive.jvm.args=-Dhive.querylog.location=. -Dhive.exec.scratchdir=/tmp/hive-${user.to.proxy} -Dhive.aux.jars.path=${hive.aux.jars.path}
jobtype.global.jvm.args=${hive.jvm.args}
hive.aux.jars.path=${hive.home}/aux/lib

hadoop.dir.bin=${hadoop.home}/bin

5.private.properties

jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,./lib/*
jobtype.class=azkaban.jobtype.HadoopJavaJob

#hadoop.home=/home/app/hadoop-2.7.2
#hive.home=/home/app/hive-2.1.1
hive.aux.jars.path=${hive.home}/aux/lib
env.HADOOP_HOME=${hadoop.home}
env.HIVE_HOME=${hive.home}
env.HIVE_AUX_JARS_PATH=file://${hive.aux.jars.path}

hadoop.dir.bin=${hadoop.home}/bin
hadoop.dir.conf=${hadoop.home}/conf

jobtype.global.classpath=${hive.classpath.items}
hive.classpath.items=./*,${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 92
博文 110
码字总数 98858
作品 0
昌平
程序员
azkaban配置插件问题,跪求解答

配置web插件:hdfs、jobsummary、reportal,出现同样的问题某个类,但是在我的azkaban-web-server/plugins/viewer/hdfs/src/azkaban/viewer/hdfs在这个包下我是有HdfsBrowserServlet文件的,...

你我他有个梦 ⋅ 2017/08/11 ⋅ 0

Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz ⋅ 04/20 ⋅ 0

构建自己的Qt插件系统

简述 Qt 本身提供了插件相关的技术,但并没有提供一个通用的插件框架!倘若要开发一个较大的 GUI 应用程序,并希望使其可扩展,那么拥有这样一个插件框架无疑会带来很大的好处。 根据 深入理...

u011012932 ⋅ 2017/11/08 ⋅ 0

Elasticsearch 2.2.0 插件篇:插件清单

在Elasticsearch中非常多的插件,这些插件主要分成以下几类:API插件,报警插件,分析插件,发现插件,管理和站点插件,映射器插件,脚本插件,安全插件,快照/恢复插件,传输插件。 API插件...

赛克蓝德 ⋅ 2016/03/12 ⋅ 0

[软件架构]基于PluginRT的插件编程

我在前面的一篇文章《反向(或者后向)插件系统设计》中介绍了一种实现插件架构的方法,但是没有给出实现的方法。本文就来讲一讲如何基于PluginRT进行插件编程。PluginRT是前面提到的插件系统...

梁欢 ⋅ 2014/10/11 ⋅ 0

Hyperic HQ资源插件开发指南

推荐: 由Hyperic HQ 国内独家代理商北京铸锐数码科技有限公司提供。适用于Hyperic HQ开发人员,讲述了插件管理功能,插件开发介绍,JMX插件,脚本插件,从命令行运行和测试插件,插件部署。是Hyp...

liuyifeng ⋅ 2011/08/15 ⋅ 2

30 个超棒的 jQuery 内容滑动展示插件

1. Awesome Diapo Slide Show with Jquery 访问该插件 2. Full Screen Slide Show Plugin 访问该插件 3. Crafty Slider 访问该插件 4. Jquery Automatic Scrollbars 访问该插件 5. Supercool......

oschina ⋅ 2013/04/10 ⋅ 13

设计一个框架化框架 Frontia

设计一个框架化框架 Frontia 结合动态加载系列文章的分析,现在开始设计并开发一个Android的插件化框架,命名为Frontia。Frontia有“前端”的意思,寓意着Android插件能像前端开发那样动态发...

Kaede ⋅ 2017/11/29 ⋅ 0

Maven插件

Maven的插件 我们知道mvn 只是抽象了项目构建的生命周期,生命周期本身是不做任何工作的,具体的工作都是由插件来完成。每个个插件都有一个或多个目标(goal),我们通常执行的mvn命令就是去调...

zhcntmm ⋅ 2017/12/21 ⋅ 0

CTK 中的 MANIFEST.MF 文件

简述 在创建 CTK 插件时,有一个很重要的文件 - 。这个文件究竟有什么用?有没有特殊的格式要求? 如果将 翻译为中文,是“清单”的意思。在 CTK 中, 文件包含了各种清单头(例如:),用于...

u011012932 ⋅ 2017/11/10 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Python爬虫,抓取淘宝商品评论内容

作为一个资深吃货,网购各种零食是很频繁的,但是能否在浩瀚的商品库中找到合适的东西,就只能参考评论了!今天给大家分享用python做个抓取淘宝商品评论的小爬虫! 思路 我们就拿“德州扒鸡”...

python玩家 ⋅ 10分钟前 ⋅ 0

MySQL 内核深度优化

MYSQL数据库适用场景广泛,相较于Oracle、DB2性价比更高,Web网站、日志系统、数据仓库等场景都有MYSQL用武之地,但是也存在对于事务性支持不太好(MySQL 5.5版本开始默认引擎才是InnoDB事务...

java高级架构牛人 ⋅ 32分钟前 ⋅ 0

用户登录信息-钉子效果(基于jquery2.0)

本js效果使用jquery2.0,清晰的分解用户登录信息的(钉子效果),该效果直接用在作者网站(www.phpkhbd.com)上。 里面的难点有:定时器,延时。 大致效果如下: 一开始: 鼠标放上去的时候:...

宁哥实战课堂 ⋅ 34分钟前 ⋅ 0

解决yum安装报错Protected multilib versions

使用yum安装报错Protected multilib versions原因是因为多个库不能共存,不过更新的话也并不行,但是可以在安装命令后面加上如下一段命令: --setopt=protected_multilib=false 案例: 比如需...

北岩 ⋅ 45分钟前 ⋅ 0

为什么要学习Typescript???

简单来说 目前的typescript就是未来的javascript 为什么?? 这要从ECMA-262标准的第4版说起 对了 我们说的ES5 其实是ECMAScript3.1这个替代性建议被扶正了而已... 那么 第4版标准是什么? 看看...

hang1989 ⋅ 49分钟前 ⋅ 0

linux安装ipfs

一、下载ipfs # cd /usr/local/ipfs/ # wget https://dist.ipfs.io/go-ipfs/v0.4.15/go-ipfs_v0.4.15_linux-amd64.tar.gz # tar -zxvf go-ipfs_v0.4.15_linux-amd64.tar.gz 二、安装ipfs # ......

八戒八戒八戒 ⋅ 55分钟前 ⋅ 0

jvm程序执行慢诊断手册

生产环境最多的几种事故之一就是程序执行慢,如果是web服务的话,表现就是响应时间长。本文分享,从业多年形成的排查守则。 诊断步骤 系统资源查看 首先是系统资源查看,而且必须是在第一步。...

xpbob ⋅ 55分钟前 ⋅ 0

YII2 advanced 高级版本项目搭建-添加API应用以及多应用

一、YII安裝 安裝yii可以用composer安裝,也可以在yii中文社区下载归档文件安装 composer安装就不介绍了,因为要安装composer,比较麻烦,当然安装了composer是最好的,以后安装yii的插件要用...

botkenni ⋅ 56分钟前 ⋅ 0

在jdk1.8的环境下模拟永久代内存溢出

相信不少小伙伴在看深入理解Java虚拟机的时候,作者给我们举例一个demo来发生PermGen space 1、通过List不断添加String.intern(); 2、通过设置对应的-XX:PermSize与-XX:MaxPermSize(更快看到...

虾几把写 ⋅ 今天 ⋅ 0

开发OpenDaylight组件的完整流程

在前面介绍学习了OpenDaylight的几个重要模块后,这里再来介绍下完整开发一个模块的过程。 OSGI的bundles提供被其他OSGI组件调用的服务。这个教程中展示的是Data Packet Service去解析数据包...

wangxuwei ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部