azkaban-web-server之hdfsviewer插件
azkaban-web-server之hdfsviewer插件
你我他有个梦 发表于4个月前
azkaban-web-server之hdfsviewer插件
  • 发表于 4个月前
  • 阅读 10
  • 收藏 0
  • 点赞 0
  • 评论 0

腾讯云 技术升级10大核心产品年终让利>>>   

摘要: 3.x版本与2.5版本不同,plugin需要自己编译

1.编译完成azkaban3.x dist\hdfsviewer\packages目录下有tar.gz包,将其解压到azkaban-web-server/plugins/viewer/(没有则创建目录)下,在azkaban-web-server/conf/azkaban.properties文件最后一行添加

viewer.plugins=hdfs

2.重命名hdfsviewer

cd azkaban-web-server/plugins/viewer/
mv hdfsviewer hdfs

3.编辑plugins.properties配置文件

vim plugins.properties
如下:
viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=false
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=false

4.导入hadoop相关jar包到azkaban-web-server/plugins/viewer/hdfs/extlib目录下,非CDH环境下所需要的jar包,并且将extlib目录下jar复制到azkaban-web-server/extlib目录下

CDH环境下所需要的jar:

5.配置环境变量,在加载插件的时候会读取这两个环境变量,如果没有配置HADOOP_CONF_DIR,则读取本地文件系统:

export HADOOP_HOME=/home/app/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf

6.启动web-server服务

如果看到的是本地文件系统,需要看fs.defaultFS的配置。

共有 人打赏支持
你我他有个梦
粉丝 91
博文 109
码字总数 98629
×
你我他有个梦
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: