文档章节

azkaban3.x exec-server之hive

你我他有个梦
 你我他有个梦
发布于 2017/08/16 23:30
字数 90
阅读 39
收藏 0

前提已经安装了jobtypes

1.vim azkaban-exec-server/plugins/jobtypes/hive/private.properties

hadoop.home=/home/app/hadoop-2.7.2
hive.home=/home/app/hive-2.1.1
jobtype.classpath=${hadoop.home}/conf,${hadoop.home}/lib/*,${hive.home}/lib/*,${hive.home}/conf,${hive.aux.jar.path}

jobtype.class=azkaban.jobtype.HadoopHiveJob

hive.aux.jar.path=${hive.home}/aux/lib

## definitely set hive home otherwise we dont have conf

#jobtype.global.classpath=${hive.classpath.items}
#hive.classpath.items=${hive.home}/lib/*,${hive.home}/conf/,${hive.aux.jars.path}/*,${hadoop.home}/*,${hadoop.home}/lib/*,${hadoop.home}/conf/

2.默认没有${hive.home}/aux/lib目录,所以创建该目录

mkdir -p ${HIVE_HOME}/aux/lib

 

© 著作权归作者所有

共有 人打赏支持
你我他有个梦

你我他有个梦

粉丝 96
博文 110
码字总数 98858
作品 0
昌平
程序员
Timed out waiting for a free available connection. (SQLState=08001, ErrorCode=0)

storm向hive写数据,topology运行一段时间后,hive.log就会出现这个错误 2017-10-18T10:43:37,786 ERROR [pool-6-thread-197] txn.TxnHandler: There is a problem with a connection from ......

goldenMoon
2017/10/18
20
0
Hive Server的启动debug命令

CLI到了这一步就需要去连接Hive Server了,所以现在开始转向研究Hive Server的启动过程。 ======================================================= 先看shell里怎么启动Hive Server 那么启...

强子哥哥
2016/03/15
136
0
hive参数——深入浅出学Hive(五)

目录: 初始Hive Hive安装与配置 Hive 内建操作符与函数开发 Hive JDBC hive参数 Hive 高级编程 Hive QL Hive Shell 基本操作 hive 优化 Hive体系结构 Hive的原理 第一部分:Hive 参数 hive...

东方神剑
2016/01/15
66
0
hadoop2.6.0+hive0.4+mysql5.6+mysql5.1.38驱动包,一直报Could not retrieve transation read-only status server

各位大侠,我搭建了一个hadoop环境,用hive做数据仓库,mysql做hive的元数据仓库,用于定时分析用户数据中的日志文件,但在hive访问mysql的过程中,不定时的报如下错误: java.sql.SQLExcept...

shuttle02
2016/01/20
1K
1
hive+hbase整合的时候遇到问题。

我按照http://www.javabloger.com/article/apache-hadoop-hive-hbase-integration.html这里操作的时候,执行到下一句出现问题,而且并没有插入到hbase里,请问这是为什么?谢谢了! hive> IN...

天南海北
2011/12/21
2.4K
2

没有更多内容

加载失败,请刷新页面

加载更多

技术工坊|如何降低区块链应用的使用门槛(上海)

当区块链技术从专业研究走向市场应用,开发者需要考虑用户的使用场景和使用门槛,例如通过ETH支付gas手续费,或者注册一个16进制的用户名,普通用户都难以接受。 10月20日,HiBlock区块链社区...

HiBlock
31分钟前
1
0
Daemon线程--《Java并发编程的艺术》学习笔记

daemon线程即守护线程 当一个JVM中不存在非Daemon线程时,JVM将会退出 也就是说当非Daemon线程都执行完毕时,java程序也就结束了。 可以通过调用Thread.setDaemon(true)将线程设置为Daemon线...

karma123
36分钟前
0
0
scala类型参数的上界和下界

class Pair[T <: Comparable[T]](val first:T,val second:T) //类型T必须要是Comparable接口的子类(即T是Comparable的下界){ def bigger = if(first.compareTo(second) > 0) first e......

whoisliang
47分钟前
1
0
Vue中路由管理器Vue Router使用介绍(一)

一、在模块编程中安装VueRouter 1.Npm安装vue-router npm install vue-router 2.在main.js中引用并使用VueRouter import Vue from 'vue'import VueRouter from 'vue-router'Vue.use(Vu......

tianma3798
49分钟前
1
0
TypeScript基础入门之声明合并(一)

转发 TypeScript基础入门之声明合并(一) 声明合并 介绍 TypeScript中的一些独特概念描述了类型级别的JavaScript对象的形状。 TypeScript特别独特的一个例子是"声明合并"的概念。 在使用现有J...

durban
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部