文档章节

azkaban-web-server之hdfsviewer插件

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:12
字数 246
阅读 217
收藏 0

#程序员薪资揭榜#你做程序员几年了?月薪多少?发量还在么?>>>

1.编译完成azkaban3.x dist\hdfsviewer\packages目录下有tar.gz包,将其解压到azkaban-web-server/plugins/viewer/(没有则创建目录)下,在azkaban-web-server/conf/azkaban.properties文件最后一行添加

viewer.plugins=hdfs

2.重命名hdfsviewer

cd azkaban-web-server/plugins/viewer/
mv hdfsviewer hdfs

3.编辑plugins.properties配置文件

vim plugins.properties
如下:
viewer.name=HDFS
viewer.path=hdfs
viewer.order=1
viewer.hidden=false
viewer.external.classpaths=extlib/
viewer.servlet.class=azkaban.viewer.hdfs.HdfsBrowserServlet
hadoop.security.manager.class=azkaban.security.HadoopSecurityManager_H_2_0
azkaban.should.proxy=false
proxy.user=azkaban
proxy.keytab.location=
allow.group.proxy=false

4.导入hadoop相关jar包到azkaban-web-server/plugins/viewer/hdfs/extlib目录下,非CDH环境下所需要的jar包,并且将extlib目录下jar复制到azkaban-web-server/extlib目录下

CDH环境下所需要的jar:

5.配置环境变量,在加载插件的时候会读取这两个环境变量,如果没有配置HADOOP_CONF_DIR,则读取本地文件系统:

export HADOOP_HOME=/home/app/hadoop-2.7.2
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop/conf

6.启动web-server服务

如果看到的是本地文件系统,需要看fs.defaultFS的配置。

© 著作权归作者所有

你我他有个梦

你我他有个梦

粉丝 97
博文 130
码字总数 109764
作品 0
通州
程序员
私信 提问
加载中

评论(0)

Azkaban-2.5及Plugins的安装配置

Azkaban是由LinkedIn开发的调度工具,可以用于调度Hadoop中的相互依赖的Job。有时候,在Hadoop集群中运行的Job是相互依赖的,某些任务需要顺序的执行,这种场景下使用Azkaban能够很好的解决问...

lulongzhou_llz
2018/04/20
0
0
Azkaban 2.5.0的详细安装过程

准备下载Azkaban2.5.0:https://azkaban.github.io/downloads.htm 准备插件: 一、MySQL安装与配置 启动数据库并查看状态:sudo service mysqld start sudo service mysqld status 登陆mysql:......

osc_sw6n0c3p
2018/04/21
1
0
[Azkaban]-源码编译&部署

1.准备   https://downloads.gradle.org/distributions/gradle-4.1-all.zip   #unzip /home/hadoop/software/azkaban-3.47.0.zip -d /home/hadoop/source/ 2.编译   首先设置gradle本地......

osc_271igh42
2018/06/20
3
0
hadoop工作流引擎azkaban

介绍 Azkaban是twitter出的一个任务调度系统,操作比Oozie要简单很多而且非常直观,提供的功能比较简单。Azkaban以Flow为执行单元进行定时调度,Flow就是预定义好的由一个或多个可存在依赖关...

wayhk
2016/05/13
272
0
Azkaban Solo Server模式部署

Azkaban Solo Server模式部署 1、优点 易于安装:无需MySQL示例。它将H2打包为主要的持久存储。 易于启动:Web服务器和执行程序服务器都在同一个进程中运行。 全功能:它包含所有Azkaban功能...

星汉
2018/12/29
1.7K
0

没有更多内容

加载失败,请刷新页面

加载更多

微服务项目搭建,到底要不要聚合工程?

这是一个入门问题,做微服务项目,首先就是要搭建 Project,代码采用什么样的形式来组织,这是我们面临的第一个问题。 要扯清楚这个问题,首先对 Maven 的使用不能含糊,小伙伴们可以在公众号...

osc_y12wmf09
20分钟前
15
0
C语言探索之旅 | 第一部分第六课:变量的世界(三),显示变量内容

作者 谢恩铭,慕课网精英讲师 Oscar老师。 转载请注明出处。 内容简介 用 printf 显示变量内容 用 scanf 提取程序中的输入 总结 第一部分第七课预告 1. 用 printf 显示变量内容 变量相关的内...

osc_zjs1puzi
21分钟前
16
0
php 操作RabbitMQ

基本流程图 如果exchange 没有绑定queue,则消息将会被丢弃 如果创建exchange,queue,并且已经绑定了,则可以直接使用 为了防止脚本出问题 可以配合supervisor 安装 从网站 https://packag...

php开源社区
23分钟前
18
0
Kotlin Coroutines Flow 系列(五) 其他的操作符

八. Flow 其他的操作符 8.1 Transform operators transform 在使用 transform 操作符时,可以任意多次调用 emit ,这是 transform 跟 map 最大的区别: fun main() = runBlocking { (1...

osc_0l1onu3j
23分钟前
13
0
挽救数据库性能的30条黄金法则

原文: 挽救数据库性能的30条黄金法则 1. 优化查询,应尽量避免全表扫描,应该在用于检索数据和排序数据的字段上建立索引,如where子句用于搜索,order by子句用于排序,所以在这两个子句涉及...

osc_gxvh47u5
23分钟前
16
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部