文档章节

azkaban3.x exec-server之hive

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:30
字数 90
阅读 29
收藏 0

前提已经安装了jobtypes

1.vim azkaban-exec-server/plugins/jobtypes/hive/private.properties

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,${hive.home}/conf,${hive.aux.jar.path}

jobtype.class=azkaban.jobtype.HadoopHiveJob

hive.aux.jar.path=${hive.home}/aux/lib

## definitely set hive home otherwise we dont have conf

#jobtype.global.classpath=${hive.classpath.items}
#hive.classpath.items=${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

2.默认没有${hive.home}/aux/lib目录,所以创建该目录

mkdir -p ${HIVE_HOME}/aux/lib

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 93
博文 110
码字总数 98858
作品 0
昌平
程序员
Timed out waiting for a free available connection. (SQLState=08001, ErrorCode=0)

storm向hive写数据,topology运行一段时间后,hive.log就会出现这个错误 2017-10-18T10:43:37,786 ERROR [pool-6-thread-197] txn.TxnHandler: There is a problem with a connection from ......

goldenMoon
2017/10/18
20
0
Hive Server的启动debug命令

CLI到了这一步就需要去连接Hive Server了,所以现在开始转向研究Hive Server的启动过程。 ======================================================= 先看shell里怎么启动Hive Server 那么启...

强子哥哥
2016/03/15
136
0
hive参数——深入浅出学Hive(五)

目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 第一部分:Hive 参数 hive...

东方神剑
2016/01/15
66
0
hadoop2.6.0+hive0.4+mysql5.6+mysql5.1.38驱动包,一直报Could not retrieve transation read-only status server

各位大侠,我搭建了一个hadoop环境,用hive做数据仓库,mysql做hive的元数据仓库,用于定时分析用户数据中的日志文件,但在hive访问mysql的过程中,不定时的报如下错误: java.sql.SQLExcept...

shuttle02
2016/01/20
1K
1
hive集成mysql安装使用时的问题

@闵开慧 大神,您好,想跟您请教个问题:我在运行hive的时候,在验证hive是否配置成功的时候进行的步骤是输入show tables;然后就出现了以下的问题: hive> show tables; FAILED: Error in me...

小瑶瑶
2014/05/16
2.2K
2

没有更多内容

加载失败,请刷新页面

加载更多

下一页

OSChina 周日乱弹 —— 种族不同,禁止交往

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @小小编辑:推荐歌曲《苏菲小姐》- 鱼果 《苏菲小姐》- 鱼果 手机党少年们想听歌,请使劲儿戳(这里) @貓夏:下大雨 正是睡觉的好时候 临睡前...

小小编辑
31分钟前
25
5
Python 搭建简单服务器

Python动态服务器网页(需要使用WSGI接口),基本实现步骤如下: 1.等待客户端的链接,服务器会收到一个http协议的请求数据报 2.利用正则表达式对这个请求数据报进行解析(请求方式、提取出文...

代码打碟手
34分钟前
0
0
Confluence 6 删除垃圾内容

属性(profile)垃圾 属性垃圾的定义为,一个垃圾用户在 Confluence 创建了用户,但是这个用户在自己的属性页面中添加了垃圾 URL。 如果你有很多垃圾用户在你的系统中创建了属性,你可以使用...

honeymose
今天
0
0
qduoj~前端~二次开发~打包docker镜像并上传到阿里云容器镜像仓库

上一篇文章https://my.oschina.net/finchxu/blog/1930017记录了怎么在本地修改前端,现在我要把我的修改添加到部署到本地的前端的docker容器中,然后打包这个容器成为一个本地镜像,然后把这...

虚拟世界的懒猫
今天
1
0
UML中 的各种符号含义

Class Notation A class notation consists of three parts: Class Name The name of the class appears in the first partition. Class Attributes Attributes are shown in the second par......

hutaishi
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部