文档章节

Hive使用中遇到的几个小问题

古城痴人
 古城痴人
发布于 2014/07/18 09:41
字数 294
阅读 2194
收藏 0

1. 在Hive中使用show tables;等命令报错:com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Specified key was too long; max key length is 767 bytes

解决办法: 到mysql中的hive数据库里执行 alter database hive character set latin1;

改变hive元数据库的字符集,问题就可以解决! 但是这时你如果建一个表里有中文,就会报错了。

2. Sqoop不能将数据导入到Hive中,报错:Warning: /usr/lib/hbase does not exist! HBase imports will fail. Please set $HBASE_HOME to the root of your HBase installation.

解决办法: 在配置文件中将HBase和ZooKeeper的配置去掉就可以了。

SQOOP_HOME/bin/configure-sqoop 中关于 HBASE 和ZOOKEEPER去掉。

3. 如果在Sqoop导数据时报错,提示文件已经存在,这时肯定是存在了。可以去HDFS中找找看,一般会是在/user/${user_name}目录下有一个。

如果使用了--create-hive-table 选项,那么文件和表都必须要清掉。

4. LOAD时,一定要指定数据类型,否则默认的ByteArray无法转成String

5. jdbc驱动忘拷到lib目录了

####6. show tables时log报:MetaException(message:Version information not found in metastore. )

hive.metastore.schema.verification设为false

  <name>hive.metastore.schema.verification</name>
  <value>false</value> 

© 著作权归作者所有

古城痴人
粉丝 16
博文 16
码字总数 19276
作品 0
朝阳
高级程序员
私信 提问
加载中

评论(1)

Le_Guto
Le_Guto
第1个问题咋么玩啊。 。
【Hadoop】hiveserver2 不能启动端口 10000 开启服务的相关经验总结

原创文章,转载请标注来自http://blog.csdn.net/lsttoy/article/details/53490144。 这个问题困扰了我三天,各种查资料踩坑填坑的尝试,终于搞定了这个问题。 首先来品尝下喜悦! OK,言归正传...

lsttoy
2016/12/06
0
0
漫谈千亿级数据优化实践:数据倾斜

0x00 前言 引用 数据倾斜是大数据领域绕不开的拦路虎,当你所需处理的数据量到达了上亿甚至是千亿条的时候,数据倾斜将是横在你面前一道巨大的坎。 迈的过去,将会海阔天空!迈不过去,就要做...

GordonNemo
2018/11/14
0
0
Spark on Yarn ”爬坑“集锦(spark1.2)

一、概述 Ha,已经有两个月没有更新blog了。由于近排公司需要引入Spark相关技术,我也是作为技术攻关人员之一,在这段时间使用Spark遇到了挺多问题,跌的坑也比较多,这篇blog主要总结一下这段...

zengzhaozheng
2014/12/30
0
0
Pig、Hive、MapReduce 解决分组 Top K 问题

问题: 有如下数据文件 city.txt (id, city, value) cat city.txt 1 wh 500 2 bj 600 3 wh 100 4 sh 400 5 wh 200 6 bj 100 7 sh 200 8 bj 300 9 sh 900 需要按 city 分组聚合,然后从每......

大数据之路
2012/10/26
0
0
Hive0.13到Hive2.1跨版本升级全姿势

转自:http://www.sohu.com/a/205768188680863 Hive0.13到Hive2.1跨版本升级全姿势 Hive是业界大数据平台使用最广泛的SQL引擎,提供了一层SQL抽象接口和一套元数据规范, 将SQL查询翻译为分布...

yntmdr
2018/06/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

好文:华杉:我等用功,不求日增,但求日减。减一分人欲,则增一分天理,这是何等简易!何等洒脱!

#写在前面1.怎么理解“减一分人欲,则增一分天理,这是何等简易!”?1)华杉提倡 “一劳永逸” 排除浪费,少干活,多赚钱,一战而定,降低作业成本。2)华杉提倡学海无涯,回头是岸...

阿锋zxf
21分钟前
2
0
vue 的bus总线

bus声明 global.bus = new Vue() 事件发送 controlTabbar () {global.bus.$emit('pickUp', 'ddd')}, 事件接收 global.bus.$on('pickUp', (res) => {this.isFocus = true})......

Js_Mei
26分钟前
2
0
大型系统演进之路-负载均衡演进

Nginx做负载均衡 通过Nginx的反向代理将请求分发到tomcat中,如果tomcat支持100并发,Nginx支持50000并发,理论上nginx把请求发送到500个tomcat就可以了。 LVS或F5做多个Nginx负载均衡 Tomc...

春哥大魔王的博客
31分钟前
4
0
Sqlite时间段查询中遇到的问题

问题: 我要查询DateTime时间其中的一段符合时间要求的数据,比如我要查询‘2019-06-06 16:50:00’至‘2019-06-06 16:59:00’这一段的数据 开始用这段代码 strSql= ("select * from Coll...

rainbowcode
35分钟前
2
0
大数据(hadoop-数据入库系统Sqoop原理架构)

Sqoop是什么 Sqoop:SQL-to-Hadoop 连接传统关系型数据库和Hadoop的桥梁 把关系型数据库的数据导入到 Hadoop 系统 ( 如 HDFS、HBase 和 Hive) 中; 把数据从 Hadoop 系统里抽取并导出到关系型...

这很耳东先生
50分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部