文档章节

oozie安装

xiaozhou18
 xiaozhou18
发布于 2017/08/17 23:54
字数 442
阅读 65
收藏 0

钉钉、微博极速扩容黑科技,点击观看阿里云弹性计算年度发布会!>>>

一、    解压oozie


tar -zxvf /opt/software/oozie-4.0.0-cdh5.3.6.tar.gz -C .


二、    配置${HADOOP_HOME}/etc/hadoop 下的core-site.xml 


<configuration>
   <property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata01:8020</value>
   </property>

  <property>
        <name>hadoop.tmp.dir</name>
       <value>/opt/moduels/hadoop-2.5.0-cdh5.3.6/data/tmp</value>
  </property>
  <property>
#用哪个用户启动ooize
        <name>hadoop.proxyuser.xiaozhou.hosts</name>  
#用户所在的机器
        <value>bigdata01</value> 
  </property>
  <property>
        <name>hadoop.proxyuser.xiaozhou.groups</name>
        <value>*</value>  # 允许任何人访问ooize
  </property>
</configuration>


 
三、    解压tar -zxvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz


四、    创建libext目录 在oozie解压的目录下 mkdir libext/


 
五、    复制hadooplibs目录下的jar包  到新建的libext目录下


cp -r oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/*  libext/


六、    复制ext-2.2.zip 文件到新建的libext目录下


[xiaozhou@bigdata01 libext]$ cp /opt/software/ext-2.2.zip .


七、    把libext下的jar包打进war包  [xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh prepare-war


八、    修改oozie-site.xml  把derby数据库换成mysql的


把数据库连接部分的地方换成如下内容
<property>
     <name>oozie.service.JPAService.jdbc.driver</name>
     <value>com.mysql.jdbc.Driver</value>
 </property>
 <property>
     <name>oozie.service.JPAService.jdbc.url</name>
    <value>jdbc:mysql://bigdata01:3306/ooize?createDatabaseIfNotExist=true</value>
 </property>
 <property>
     <name>oozie.service.JPAService.jdbc.username</name>
     <value>root</value>
 </property>
 <property>
    <name>oozie.service.JPAService.jdbc.password</name>
    <value>123456</value>
</property>
#hadoop配置文件的地址
    <property>
        <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
        <value>*=/opt/moduels/hadoop-2.5.0-cdh5.3.6/etc/hadoop</value>
    </property>


九、    复制mysql 驱动jar包到lib和libext和oozie-server/lib下 


[xiaozhou@bigdata01 lib]$ cp /opt/moduels/hive-0.13.1-cdh5.3.6/lib/mysql-connector-java-5.1.27-bin.jar .
[xiaozhou@bigdata01 libext]$ cp mysql-connector-java-5.1.27-bin.jar ../libext/
[xiaozhou@bigdata01 lib]$ cp /opt/moduels/oozie-4.0.0-cdh5.3.6/lib/mysql-connector-java-5.1.27-bin.jar .


十、    启动hadoop

 

十一、把oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz 复制到hdfs上


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozie-setup.sh sharelib create -fs hdfs://bigdata01:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz
在hdfs上出现如下界面表示jar包上传成功


 
十二、创建数据库


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection


十三、启动ooize


[xiaozhou@bigdata01 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start
多个进程


 
十四、在浏览器中输入http://bigdata01:11000/


出现如下图所示表示安装成功

上一篇: idea快捷键
下一篇: hdfs 操作
xiaozhou18
粉丝 4
博文 61
码字总数 102384
作品 0
哈尔滨
程序员
私信 提问
加载中
请先登录后再评论。
oozie4.3.0的安装与配置 + hadoop2.7.3

安装步骤 mysql的配置 oozie的安装 oozie的配置 oozie的启动与登录 常用oozie的命令 1. mysql的配置 mysql的安装自行解决,然后在mysql上 创建oozie数据库,创建oozie用户名和密码,并赋值o...

osc_pjx06t57
2018/01/23
2
0
oozie使用中的一些小结(持续完善)

0 关于oozie 寻找包寻找位置原则: oozie在运行的时候 只会去两个地方寻找自己需要的lib eg: /user/root/examples/apps/fork-merge的workflow下有 job.properties lib workflow.xml三个目录 ...

Zero零_度
2016/09/23
118
0
cdh5.x安装oozie报错解决办法

在安装cdh5.5.4的oozie时报错如下:check db schema does not exist 原因是,我在安装oozie的时候要选择存放oozie元数据的mysql数据库,而这个数据库中已经存在oozie相关的表,当再次安装ooz...

bigdata
2016/07/04
261
0
【赵强老师】大数据工作流引擎Oozie

一、什么是工作流? 工作流(WorkFlow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问...

osc_kurqu050
06/29
6
0
【赵强老师】大数据工作流引擎Oozie

一、什么是工作流? 工作流(WorkFlow)就是工作流程的计算模型,即将工作流程中的工作如何前后组织在一起的逻辑和规则在计算机中以恰当的模型进行表示并对其实施计算。工作流要解决的主要问...

osc_kg8eprns
06/29
4
0

没有更多内容

加载失败,请刷新页面

加载更多

插入,在PostgreSQL中重复更新吗? - Insert, on duplicate update in PostgreSQL?

问题: Several months ago I learned from an answer on Stack Overflow how to perform multiple updates at once in MySQL using the following syntax: 几个月前,我从关于堆栈溢出的答案......

技术盛宴
51分钟前
28
0
互联网的寒冬下各大一线互联网公司还在用SpringBoot这是为什么?

引言 现在各大技术社区 Spring Boot 的文章越来越多,Spring Boot 相关的图文、视频教程越来越多,使用 Spring Boot 的互联网公司也越来越多; Java 程序员现在出去面试, Spring Boot 已经成...

北柠Java
53分钟前
8
0
vue+elementui实现简易的列筛选功能实现。

一、简易效果图: 二、需求背景 大家都知道,后管类系统当中,有时一个列表可能有很多列需要展示,如下图所示,但是用户在使用系统的时候,往往会需要针对其中某几列进行数据提取,在展示列比...

一生懸命吧
56分钟前
60
0
批处理问题记录——数字实验bat

记录学习批处理时的问题 批处理为输入一个数字,如果大于等于一百,直接输出输入数字,如果小于一百会重复+1,直到100后输出。 问题是,如果不输入数字,直接空格的话,批处理会出错。 寻求一...

愤怒的乌老大
今天
6
0
算法题汇总

计算两个字符串中的最大的相同字符串

佳幂小煜
今天
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部