文档章节

spark2.0配合hive0.13.1使用问题处理

292672967
 292672967
发布于 2017/07/28 19:02
字数 271
阅读 34
收藏 0

功能,spark2.0配合hive0.13.1使用,并保存数据到hive

错误: Invalid method name: 'alter_table_with_cascade'

解决1:

           将hive-site.xml中的 hive.metastore.uris配置项置空。使用jdo相关配置。此举是将spark提取hive元信息的方式修改为直接从数据库提取。虽然可以解决,但是客户方不给该数据。

 

解决2:

      配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version项。

  配置完成后 Invalid method name: 'alter_table_with_cascade'异常消失了, 

结果运行又出现了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的错误。

找到该类Hive.java,里面的loadTable方法竟然需要5个参数。果然没有4个参数的loadTable 方法。只能参照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13类,增加

loadTable和loadPartition方法。重新编译,执行。

竟然好了。看来spark中的bug也挺多,或者我的用法不对?

解决问题中有一个很奇怪的现象:在yarn-client 模式下竟然未出现 loadTable方法未找到的问题

还有遗留问题:为什么yarn-client模式下没有出现问题?

© 著作权归作者所有

共有 人打赏支持
292672967
粉丝 10
博文 12
码字总数 7692
作品 0
西安
程序员
CDH5.12.0 如何升级到Spark2.0 版本

CDH5.12.0 如何升级到Spark2.0 版本 标签(空格分隔): 大数据平台构建 一: CDH5.12.0 的spark2.0 的概述: http://archive.cloudera.com/spark2/csd/ http://archive.cloudera.com/spark2...

flyfish225
05/18
0
0
北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求

北风网Spark2.0视频054.用户访问session分析-top10活跃session之分 北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求 没空看视频呀...

Baclk5
2017/08/10
15
0
Hortonworks Data Platform大数据平台的使用率怎么样?

Hortonworks Data Platform大数据平台的使用率怎么样? 对比cdh怎么样, hdp支持spark2.0? 效果如何?

sca7
2016/12/13
106
2
Spark 2.0

目前主流Hadoop分布式提供商都已经把Spark加入他们的核心产品组成了,Spark作为针对MapReduce的替代品获得了很多关注。(MapReduce是Hadoop原生大数据分析数据处理引擎)。这种势头在去年底得到...

莫问viva
2016/08/12
100
0
spark2.0新特性

使用: 离线计算:数据源大多来自hdfs(hive),所以sql使用的非常多,几乎每个离线计算作业都会用到hivecontext或sqlcontext 实时计算:streaming模块 图计算在企业里用的很少,需求少 数据挖...

曾晓森
2016/09/18
214
0

没有更多内容

加载失败,请刷新页面

加载更多

搬瓦工镜像站bwh1.net被DNS污染,国内打不开搬瓦工官网

今天下午(2018年10月17日),继搬瓦工主域名bandwagonhost.com被污染后,这个国内的镜像地址bwh1.net也被墙了。那么目前应该怎么访问搬瓦工官网呢? 消息来源:搬瓦工优惠网->搬瓦工镜像站b...

flyzy2005
今天
2
0
SpringBoot自动配置

本篇介绍下,如何通过springboot的自动配置,将公司项目内的依赖jar,不需要扫描路径,依赖jar的情况下,就能将jar内配置了@configuration注解的类,创建到IOC里面 介绍下开发环境 JDK版本1.8 spr...

贺小五
今天
3
0
命令行新建Maven多项目

参考地址 # DgroupId 可以理解为包名# DartifactId 可以理解为项目名mvn archetype:generate -DgroupId=cn.modfun -DartifactId=scaffold -DarchetypeArtifactId=maven-archetype-quickst......

阿白
今天
1
0
OSChina 周四乱弹 —— 上帝对我单身年限的惩罚越来越长了

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文:分享张卫健的单曲《身体健康》 《身体健康》- 张卫健 手机党少年们想听歌,请使劲儿戳(这里) 昨天是重阳节咯, 可惜小小编辑总是晚...

小小编辑
今天
12
1
django rest framework 外键序列化方法与问题总结

django rest framework 外键序列化方法与问题总结 当借口中需要出现一对多关系的时候,我们可以用rest_framwork的序列化功能来处理,代码如下. # models.pyfrom django.db import modelscl...

_Change_
昨天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部