文档章节

apache oozie安装试用

brian_2017
 brian_2017
发布于 2017/01/17 09:43
字数 724
阅读 32
收藏 0
oozie是hadoop的工作流Scheduler,最新的版本到4.0.1了。试用了下,小坑还蛮多的。

1. 编译
我的主机上跑的是Hadoop 1.1.2,选的是oozie 3.3.0版本,下载源码,解压缩。
首先,要把源码里的javaversion从1.6改成1.7,主机是用jdk1.7。
编译oozie,命令是'./bin/mkdistro.sh -DskipTests -Dhadoop.version=1.0.1',跳过测试,另外,不管Hadoop的版本是多少,只要它是1.x的,就只能是-Dhaoop.version=1.0.1,填其他版本号编译不通过。如果是Hadoop 2.x,只能填'-Dhadoop.version=2.0.0-alpha',填其他版本号编译不通过。

2. 安装
编译结果在oozie-3.3.0/distro/target/oozie-3.3.0-distro/oozie-3.3.0,这个目录有
--------------------
bin lib oozie-core oozie-sharelib-3.3.0.tar.gz
conf libtools oozie-examples.tar.gz oozie.war
docs.zip oozie-client-3.3.0.tar.gz oozie-server release-log.txt
--------------------
把这些文件复制到安装目录/usr/local/lib/oozie-3.3.0,或者其他地方比如我的是~/usr/oozie-3.3.0。以后的操作都是安装目录进行。

3. 配置hadoop
在hadoop的core-site.xml里添加oozie的配置
--------------------
  <!-- OOZIE -->
  <property>
    <name>hadoop.proxyuser.[youname].hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.brian.groups</name>
    <value>*</value>
  </property>
--------------------
把[youname]替换成你的当前用户名。
然后启动Hadoop。

4. 官档提到要把oozie-3.3.0目录下hadooplibs tar.gz解压缩,但如果你的系统已经安装hadoop了,编译的时候不会生成这个文件,这一步可以忽略。

5. 创建oozie-3.3.0/libext目录。下载 http://extjs.com/deploy/ext-2.2.zip 放到这个目录,不需要解压,再把主机上hadoop-1.1.2的几个主jar文件复制到这个目录,也就是:
---------------------------
hadoop-client-1.1.2.jar hadoop-examples-1.1.2.jar hadoop-test-1.1.2.jar
hadoop-ant-1.1.2.jar hadoop-core-1.1.2.jar hadoop-minicluster-1.1.2.jar hadoop-tools-1.1.2.jar
---------------------------

6. 在oozie-3.3.0目录下,运行'./bin/oozie-setup.sh',执行安装步骤。

7. 在oozie-3.3.0目录下,运行'./bin/ooziedb.sh create -sqlfile oozie.sql -run',创建数据库。

8. 在ooize-3.3.0目录下,运行'./bin/oozie-start.sh',启动oozie。

9. 在ooize-3.3.0目录下,运行'./bin/oozie admin -oozie http://localhost:11000/oozie -status',检查oozie是否启动成功,正常情况下,输出值是normal。

10.在ooize-3.3.0目录下,解压缩oozie-sharelib-3.3.0.tar.gz,得到一个目录share,用'hadoop fs -put share share'将它放到hdfs上。

11.在ooize-3.3.0目录下,解压缩oozie-examples.tar.gz,得到目录examples。修改examples/apps/mao-reduce/jobproperties文件的前两句,替换成:
------------
nameNode=hdfs://localhost:9000
jobTracker=localhost:9001
------------
这是下一步要运行的demo,修改namenode和jobtracker的配置,默认值不对。
然后将examples目录也put到hdfs上。

12. 在oozie-3.3.0目录下,运行'./bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run',注意端口号是11000,官档是8080,参数不对。执行后,输出hadoop jod id,形如‘0000000-140826104216537-oozie-cke-W’

13. 根据job id检查运行结果'./bin/oozie job -oozie http://localhost:11000/oozie -info 0000000-140826104216537-oozie-cke-W',看到success即表明成功。

14. 显示运行结果:'hadoop fs -cat examples/output-data/map-reduce/part-00000'

流程是完整的,步骤是最简的,解释是忽略的 :),每一步的具体解释请参考官档。

© 著作权归作者所有

brian_2017
粉丝 3
博文 61
码字总数 145216
作品 0
私信 提问
Setting up Oozie high availability

本文介绍如何搭建四节点的Oracle Linux 7集群以及oozie的High Availability。环境如下图:一、创建HA集群1、安装集群软件包分别在4个节点上安装,如下: 2、设置集群用户密码集群软件包安装完...

candon123
2017/12/15
0
0
驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的。 Apache Oozie是一个用来管理Hadoop任务的工作流...

九劫散仙
2015/05/19
3.4K
0
Apache Oozie Installation

oozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。由...

candon123
2017/12/14
0
0
Oozie安装总结

权声明:本文为博主原创文章,未经博主允许不得转载。 一、使用CM添加服务的方式安装Oozie 如果在创建Oozie数据库时失败,且提示数据库已存在,如下图,则可能是之前已经安装过Oozie,没有卸...

Zero零_度
2016/09/23
185
0
oozie的作业调度

一段时间写了个mr程序,最后要进行作业调度,但是不知道用什么方式比较合适,最终选择了oozie。 之前一直写web程序,老板们突然让玩Hadoop,于是就这么愉快的的接受了这个活,对于一个新手来...

Zero零_度
2016/09/22
49
0

没有更多内容

加载失败,请刷新页面

加载更多

mysql概览

学习知识,首先要有一个总体的认识。以下为mysql概览 1-架构图 2-Detail csdn |简书 | 头条 | SegmentFault 思否 | 掘金 | 开源中国 |

程序员深夜写bug
今天
9
0
golang微服务框架go-micro 入门笔记2.2 micro工具之微应用利器micro web

micro web micro 功能非常强大,本文将详细阐述micro web 命令行的功能 阅读本文前你可能需要进行如下知识储备 golang分布式微服务框架go-micro 入门笔记1:搭建go-micro环境, golang微服务框架...

非正式解决方案
今天
6
0
前端——使用base64编码在页面嵌入图片

因为页面中插入一个图片都要写明图片的路径——相对路径或者绝对路径。而除了具体的网站图片的图片地址,如果是在自己电脑文件夹里的图片,当我们的HTML文件在别人电脑上打开的时候图片则由于...

被毒打的程序猿
今天
8
0
Flutter 系列之Dart语言概述

Dart语言与其他语言究竟有什么不同呢?在已有的编程语言经验的基础上,我们该如何快速上手呢?本篇文章从编程语言中最重要的组成部分,也就是基础语法与类型变量出发,一起来学习Dart吧 一、...

過愙
今天
5
0
rime设置为默认简体

转载 https://github.com/ModerRAS/ModerRAS.github.io/blob/master/_posts/2018-11-07-rime%E8%AE%BE%E7%BD%AE%E4%B8%BA%E9%BB%98%E8%AE%A4%E7%AE%80%E4%BD%93.md 写在开始 我的Arch Linux上......

zhenruyan
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部