文档章节

oozie安装

xiaozhou18
 xiaozhou18
发布于 2017/08/17 23:54
字数 442
阅读 18
收藏 0
点赞 0
评论 0

一、    解压oozie


tar -zxvf /opt/software/oozie-4.0.0-cdh5.3.6.tar.gz -C .


二、    配置${HADOOP_HOME}/etc/hadoop 下的core-site.xml 


<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:8020</value>
   </property>

  <property>
        <name>hadoop.tmp.dir</name>
       <value>/opt/moduels/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
  </property>
  <property>
#用哪个用户启动ooize
        <name>hadoop.proxyuser.xiaozhou.hosts</name>  
#用户所在的机器
        <value>bigdata01</value> 
  </property>
  <property>
        <name>hadoop.proxyuser.xiaozhou.groups</name>
        <value>*</value>  # 允许任何人访问ooize
  </property>
</configuration>


 
三、    解压tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz


四、    创建libext目录 在oozie解压的目录下 mkdir libext/


 
五、    复制hadooplibs目录下的jar包  到新建的libext目录下


cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/*  libext/


六、    复制ext-2.2.zip 文件到新建的libext目录下


[xiaozhou@bigdata01 libext]$ cp /opt/software/ext-2.2.zip .


七、    把libext下的jar包打进war包  [xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh prepare-war


八、    修改oozie-site.xml  把derby数据库换成mysql的


把数据库连接部分的地方换成如下内容
<property>
     <name>oozie.service.JPAService.jdbc.driver</name>
     <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
     <name>oozie.service.JPAService.jdbc.url</name>
    <value>jdbc:mysql://bigdata01:3306/ooize?createDatabaseIfNotExist=true</value>
 </property>
 <property>
     <name>oozie.service.JPAService.jdbc.username</name>
     <value>root</value>
 </property>
 <property>
    <name>oozie.service.JPAService.jdbc.password</name>
    <value>123456</value>
</property>
#hadoop配置文件的地址
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/moduels/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value>
    </property>


九、    复制mysql 驱动jar包到lib和libext和oozie-server/lib下 


[xiaozhou@bigdata01 lib]$ cp /opt/moduels/hive-0.13.1-cdh5.3.6/lib/mysql-connector-java-5.1.27-bin.jar .
[xiaozhou@bigdata01 libext]$ cp mysql-connector-java-5.1.27-bin.jar ../libext/
[xiaozhou@bigdata01 lib]$ cp /opt/moduels/oozie-4.0.0-cdh5.3.6/lib/mysql-connector-java-5.1.27-bin.jar .


十、    启动hadoop

 

十一、把oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz 复制到hdfs上


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs hdfs://bigdata01:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
在hdfs上出现如下界面表示jar包上传成功


 
十二、创建数据库


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection


十三、启动ooize


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
多个进程


 
十四、在浏览器中输入http://bigdata01:11000/


出现如下图所示表示安装成功

© 著作权归作者所有

共有 人打赏支持
xiaozhou18
粉丝 2
博文 41
码字总数 87942
作品 0
哈尔滨
程序员
oozie使用中的一些小结(持续完善)

0 关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录 ...

Zero零_度
2016/09/23
12
0
安装Oozie4.1.0-CDH版本

安装oozie经历了好长的时间,先是源码包,但是放弃了。。。 然后就是安装的这个CDH版本的,弄了好久,经常报各种错误。 最后整理出来这篇。 这个安装过程同样适用于oozie4.1.0的其他的CDH版本...

白话
06/26
0
0
Setting up Oozie high availability

本文介绍如何搭建四节点的Oracle Linux 7集群以及oozie的High Availability。环境如下图:一、创建HA集群1、安装集群软件包分别在4个节点上安装,如下: 2、设置集群用户密码集群软件包安装完...

candon123
2017/12/15
0
0
Apache Oozie Installation

oozie就是一个workflow协调系统,主要用来管理Hadoop作业(job)。属于web应用程序,由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器(tomcat)中的web程序。由...

candon123
2017/12/14
0
0
驭象者之Apache Oozie

(1)Apache Oozie是什么? Oozie在英语中的释义指的是:驯象人,驭象者(多指缅甸那边的俗称),这个比喻相对与它的功能来说,还是很恰当的。 Apache Oozie是一个用来管理Hadoop任务的工作流...

九劫散仙
2015/05/19
0
0
Oozie安装总结

权声明:本文为博主原创文章,未经博主允许不得转载。 一、使用CM添加服务的方式安装Oozie 如果在创建Oozie数据库时失败,且提示数据库已存在,如下图,则可能是之前已经安装过Oozie,没有卸...

Zero零_度
2016/09/23
48
0
OOzie调度sqoop1 Action 从mysql导入数据到hive

: 1、安装好mysql、Hadoop、oozie、hive 2、上面安装的软件皆可正确执行 开始: 用oozie调度sqoop1 Action 需要准备三个基本文件,workflow.xml、job.properties、hive-site.xml(其实也可以...

Zero零_度
2016/09/23
35
1
oozie调用spark

oozie单独调用spark的过程中,也是问题多多。 首先,你的spark程序肯定是要能单独跑过的。另外spark运行任务的几种方式的区别。 spark运行模式 这篇博客有讲。 然后看我的一些配置吧,测试中...

Zero零_度
2016/09/23
282
0
Installing HUE 4

Hue是一个开源的Apache Hadoop UI系统,最早是由Cloudera Desktop演化而来,由Cloudera贡献给开源社区,它是基于Python Web框架Django实现的。通过使用Hue我们可以在浏览器端的Web控制台上与...

candon123
2017/12/18
0
0
Oozie分布式任务的工作流——脚本篇

继前一篇大体上翻译了Email的Action配置,本篇继续看一下Shell的相关配置。 Shell Action Shell Action可以执行Shell脚本命令,工作流会等到shell完全执行完毕后退出,再执行下一个节点。为了...

青夜之衫
2017/12/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

对基于深度神经网络的Auto Encoder用于异常检测的一些思考

一、前言 现实中,大部分数据都是无标签的,人和动物多数情况下都是通过无监督学习获取概念,故而无监督学习拥有广阔的业务场景。举几个场景:网络流量是正常流量还是攻击流量、视频中的人的...

冷血狂魔
21分钟前
0
0
并发设计之A系统调用B系统

A-->B A在发送请求之前,用乐观锁,减少对B的重复调用,这样一定程度上是幂等性。 比如A系统支付功能,要调用B系统进行支付操作,但是前端对"支付"按钮不进行控制,即用户会不断多次点击支付...

汉斯-冯-拉特
41分钟前
0
0
HTTP协议通信原理

了解HTTP HTTP(HyperText Transfer Protocol)是一套计算机通过网络进行通信的规则。计算机专家设计出HTTP,使HTTP客户(如Web浏览器)能够从HTTP服务器(Web服务器)请求信息和服务。 HTTP使用...

寰宇01
今天
0
0
【Java动态性】之反射机制

一、Java反射机制简介

谢余峰
今天
1
0
Centos 6.X 部署环境搭建

1.Linux学习笔记CentOS 6.5(一)--CentOS 6.5安装过程

IT追寻者
今天
0
0
博客即同步至腾讯云+社区声明

我的博客即将搬运同步至腾讯云+社区,邀请大家一同入驻:https://cloud.tencent.com/developer/support-plan?invite_code=8vy9bsmadbko...

xiaoge2016
今天
1
0
大数据教程(3.1):Linux系统搭建网络YUM源服务器

博主在前面的2.5章节讲述了linux系统本地YUM服务器的搭建和httpd轻量级静态网站服务器的安装,本节博主将为大家分享内网环境中搭建自己的网络YUM服务器的全过程。如果大家对本地YUM服务器还不...

em_aaron
今天
1
0
蚂蚁技术专家:一篇文章带你学习分布式事务

小蚂蚁说: 分布式事务是企业集成中的一个技术难点,也是每一个分布式系统架构中都会涉及到的一个东西,特别是在这几年越来越火的微服务架构中,几乎可以说是无法避免,本文就围绕分布式事务...

Java大蜗牛
今天
1
0
新的Steam应用将拓展服务项目

导读 未来几周,Steam将推出两个免费的应用程序Steam Link和Steam Video。这两个应用程序都旨在拓展Steam平台的业务和便利性。 即将开放的Steam Link应用程序最先提供了Android测试版,它将允...

问题终结者
今天
0
0
golang 第三方包的使用总结

golang 第三方包的安装的方法: 1. go get 安装 $ go get github.com/gin-gonic/gin 注意:执行go get 命令需要先安装git命令,并配置git全局变量。 2. 源码包安装 由于国内网络问题,很多时...

科陆李明
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部