文档章节

Hadoop2.6.3+Hive-1.2.1+mysql5.6.15 问题汇总

aibati2008
 aibati2008
发布于 2016/02/22 12:50
字数 690
阅读 129
收藏 0
点赞 1
评论 0

问题描述一: 

Caused by: java.sql.SQLException: Unable to open a test connection to the given database. JDBC url = jdbc:mysql://192.168.64.11:3306/hive?characterEncoding=UTF-8, username = hive. Terminating connection pool (set lazyInit to true if you expect to start your database after your app). Original Exception: ------

com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception: 


错误原因停止mysql服务之后修改hive密码之后没有重启mysql虽然在主机上可以用  mysql  -uroot -p登陆但是运行hive命令却拒绝远程链接
解决方法:
   #/etc/init.d/mysql restart    #重启mysql服务
   或service mysql restart 
     即可解决以上问题。



问题描述2:

当在Hive中创建表的时候报错:

create table years (year string, event string) row format delimited fields terminated by '\t';FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(m

字符集问题、乱码的、显示字符长度问题的,这是由于字符集的问题,需要配置MySQL的字符集:

mysql> alter database hive character set latin1;

 修改后问题解决。

问题描述3:

hadoop安装完以后,经常会提示一下警告:

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... 
using builtin-java classes where applicable

搜了好多文章,都说是跟系统位数有关系,我使用的是Centos 6.5 64位系统。

首先下载hadoop-native-64-2.6.0.tar:
http://dl.bintray.com/sequenceiq/sequenceiq-bin/hadoop-native-64-2.6.0.tar

下载完以后,解压到hadoop的native目录下,覆盖原有文件即可。操作如下:

tar -xvf hadoop-native-64-2.4.0.tar -C  hadoop/lib/native/


问题描述4:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:For direct MetaStore DB connections, we don’t support retries at the client level.)
这个是由于我的mysql不再本地(默认使用本地数据库),这里需要配置远端元数据服务器
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://10.24.32.169:9083</value>
</property>

在后台启动hive服务端程序

$nohup hive --service metastore &

客户端直接使用hive命令即可


问题描述5:

java.lang.IllegalArgumentException: java.net.UnknownHostException: dfscluster

解决办法:

找不到hdfs集群名字dfscluster,这个文件在HADOOP的etc/hadoop下面,有个文件hdfs-site.xml,复制到hive的conf下,重启即可

[hadoop@slave4 hadoop]$ cp  hdfs-site.xml $HIVE_HOME/conf/

问题描述6:

hive删除表时报错如下:
hive> drop table spider_log;
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:javax.jdo.JDODataStoreException: 
You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1


解决办法:
是mysql的版本和驱动的版本不匹配导致的,我的mysql版本是5.6的,刚开始使用的驱动是5.1.18,
,但是mysql5.6已经抛弃了这个参数,所以会报上面错误,换成驱动mysql-connector-java-5.1.31-bin.jar后解决。
(注意:更高的驱动版本也不一定能行,我下载了驱动是5.1.51也不能用,必须是5.1.31)
下载驱动:
http://dev.mysql.com/downloads/connector/j/
选择平台,下载(mysql-connector-java-5.1.31.tar.gz)
或者http://download.csdn.net/detail/sallivan/1855957下载


© 著作权归作者所有

共有 人打赏支持
aibati2008
粉丝 12
博文 79
码字总数 60745
作品 0
成都
技术主管
Excel数据透视表中的值计算

数据透视表中数据是重点,分析这些数据的方法就是按需进行计算。 1、多汇总方式计算,包括求和、计数、平均值、最大值、最小值、乘积、数值计数、标准偏差、总体标准偏差、方差、总体方差。在...

技术小牛人 ⋅ 2017/11/07 ⋅ 0

Web 开发问题汇总(二)

Web 开发问题汇总(二) Hello World2018-01-041 阅读 web汇总 1.Uncaught TypeError: Cannot read property ‘msie’ of undefined A:The $.browser method has been removed as of jQuery 1.......

Hello World ⋅ 01/04 ⋅ 0

基于面向对象(OO)的数据库设计模式探讨

前言 软件开发中面临的问题 在软件开发过程中,几乎没有几个程序员喜欢报表开发,报表多、杂,需求多变,特别是给人感觉没有什么技术含量,大家对报表都是退避三舍。如果 采用 BI 工具开发,...

IBMdW ⋅ 2011/06/08 ⋅ 2

【目录】姜晔的技术空间目录

逆向工程系列 逆向工程第001篇:解锁FIFA07传奇模式 逆向工程第002篇:打造自己的仙剑奇侠 逆向工程第003篇:跨越CM4验证机制的鸿沟(上) 逆向工程第004篇:跨越CM4验证机制的鸿沟(中) 逆...

ioio_jy ⋅ 2014/09/15 ⋅ 0

Vue 脱坑记 - 查漏补缺(汇总下群里高频询问的xxx及给出不靠谱的解决方案)

前言 发现群里有些问题的提问重复率太高了,每次都去回答,回答的贼烦. 这里做一个大体的汇总,废话不多说,直接开始 给出方案,不是手把手..若是连问题和解决都看不懂的..应该去补充下基础知识 ...

FungLeo ⋅ 2017/11/08 ⋅ 0

【思科】BGP自动汇总和手动汇总的基本分析

实验拓扑: 实验规划: R1,R2,R3,R4分别属于AS100,AS200,AS300,AS400 ,R3分别与R1,R2,R4建立了EBGP邻居关系,R1,R2上分别有2个子接口(模拟网段)。 R1: f0/0:13.0.0.1/24 l1:172.16.1.1/2...

兰蒂卢斯 ⋅ 2014/11/27 ⋅ 0

OSPF的高级应用之地址汇总与虚链路的配置

在大型网络中,要使路由器发挥最好的性能,需要做一些优化。而由于一些原因,造成了OSPF区域骨干区域没有和非骨干区域相连、骨干区域不连续等问题。如要更改区域所有路由器配置,工作量较大,...

杨书凡 ⋅ 2017/09/06 ⋅ 0

【r<-基础|分析】初学者学习tidyverse

是一组处理与可视化R包的集合,其中与最广为人知。 核心包有以下一些: ggplot2 - 可视化数据 dplyr - 数据操作语法,可以用它解决大部分数据处理问题 tidyr - 清理数据 readr - 读入表格数据...

王诗翔 ⋅ 06/03 ⋅ 0

一图简看基于搜索的问答机器人设计

前言 对于 chatbot,现在学界更流行的实现方式是基于深度学习和强化学习,比如seq2seq模型,具体可参考前面的文章《深度学习的seq2seq模型》。 而对于工业界,直接用 seq2seq 模型来实现端对...

超人汪小建 ⋅ 05/22 ⋅ 0

LeetCode 473 Matchsticks to Square

LeetCode 排列组合 题目汇总 LeetCode 数字 题目汇总 LeetCode 动态规划 题目分类汇总 干货!LeetCode 题解汇总 题目描述 Remember the story of Little Match Girl? By now, you know exac...

被称为L的男人 ⋅ 2017/12/10 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Springboot2 之 Spring Data Redis 实现消息队列——发布/订阅模式

一般来说,消息队列有两种场景,一种是发布者订阅者模式,一种是生产者消费者模式,这里利用redis消息“发布/订阅”来简单实现订阅者模式。 实现之前先过过 redis 发布订阅的一些基础概念和操...

Simonton ⋅ 30分钟前 ⋅ 0

error:Could not find gradle

一.更新Android Studio后打开Project,报如下错误: Error: Could not find com.android.tools.build:gradle:2.2.1. Searched in the following locations: file:/D:/software/android/andro......

Yao--靠自己 ⋅ 昨天 ⋅ 0

Spring boot 项目打包及引入本地jar包

Spring Boot 项目打包以及引入本地Jar包 [TOC] 上篇文章提到 Maven 项目添加本地jar包的三种方式 ,本篇文章记录下在实际项目中的应用。 spring boot 打包方式 我们知道,传统应用可以将程序...

Os_yxguang ⋅ 昨天 ⋅ 0

常见数据结构(二)-树(二叉树,红黑树,B树)

本文介绍数据结构中几种常见的树:二分查找树,2-3树,红黑树,B树 写在前面 本文所有图片均截图自coursera上普林斯顿的课程《Algorithms, Part I》中的Slides 相关命题的证明可参考《算法(第...

浮躁的码农 ⋅ 昨天 ⋅ 0

android -------- 混淆打包报错 (warning - InnerClass ...)

最近做Android混淆打包遇到一些问题,Android Sdutio 3.1 版本打包的 错误如下: Android studio warning - InnerClass annotations are missing corresponding EnclosingMember annotation......

切切歆语 ⋅ 昨天 ⋅ 0

eclipse酷炫大法之设置主题、皮肤

eclipse酷炫大法 目前两款不错的eclipse 1.系统设置 Window->Preferences->General->Appearance 2.Eclipse Marketplace下载【推荐】 Help->Eclipse Marketplace->搜索‘theme’进行安装 比如......

anlve ⋅ 昨天 ⋅ 0

vim编辑模式、vim命令模式、vim实践

vim编辑模式 编辑模式用来输入或修改文本内容,编辑模式除了Esc外其他键几乎都是输入 如何进入编辑模式 一般模式输入以下按键,均可进入编辑模式,左下角提示 insert(中文为插入) 字样 i ...

蛋黄Yolks ⋅ 昨天 ⋅ 0

大数据入门基础:SSH介绍

什么是ssh 简单说,SSH是一种网络协议,用于计算机之间的加密登录。 如果一个用户从本地计算机,使用SSH协议登录另一台远程计算机,我们就可以认为,这种登录是安全的,即使被中途截获,密码...

董黎明 ⋅ 昨天 ⋅ 0

web3j教程

web3j是一个轻量级、高度模块化、响应式、类型安全的Java和Android类库提供丰富API,用于处理以太坊智能合约及与以太坊网络上的客户端(节点)进行集成。 汇智网最新发布的web3j教程,详细讲解...

汇智网教程 ⋅ 昨天 ⋅ 0

谷歌:安全问题机制并不如你想象中安全

腾讯科技讯 5月25日,如今的你或许已经对许多网站所使用的“安全问题机制”习以为常了,但你真的认为包括“你第一个宠物的名字是什么?”这些问题能够保障你的帐户安全吗? 根据谷歌(微博)安...

问题终结者 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部