文档章节

spark2.0配合hive0.13.1使用问题处理

292672967
 292672967
发布于 2017/07/28 19:02
字数 271
阅读 32
收藏 0

功能,spark2.0配合hive0.13.1使用,并保存数据到hive

错误: Invalid method name: 'alter_table_with_cascade'

解决1:

           将hive-site.xml中的 hive.metastore.uris配置项置空。使用jdo相关配置。此举是将spark提取hive元信息的方式修改为直接从数据库提取。虽然可以解决,但是客户方不给该数据。

 

解决2:

      配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version项。

  配置完成后 Invalid method name: 'alter_table_with_cascade'异常消失了, 

结果运行又出现了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的错误。

找到该类Hive.java,里面的loadTable方法竟然需要5个参数。果然没有4个参数的loadTable 方法。只能参照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13类,增加

loadTable和loadPartition方法。重新编译,执行。

竟然好了。看来spark中的bug也挺多,或者我的用法不对?

解决问题中有一个很奇怪的现象:在yarn-client 模式下竟然未出现 loadTable方法未找到的问题

还有遗留问题:为什么yarn-client模式下没有出现问题?

© 著作权归作者所有

共有 人打赏支持
292672967
粉丝 9
博文 12
码字总数 7692
作品 0
西安
程序员
CDH5.12.0 如何升级到Spark2.0 版本

CDH5.12.0 如何升级到Spark2.0 版本 标签(空格分隔): 大数据平台构建 一: CDH5.12.0 的spark2.0 的概述: http://archive.cloudera.com/spark2/csd/ http://archive.cloudera.com/spark2...

flyfish225
05/18
0
0
北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求

北风网Spark2.0视频054.用户访问session分析-top10活跃session之分 北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求 没空看视频呀...

Baclk5
2017/08/10
15
0
Hortonworks Data Platform大数据平台的使用率怎么样?

Hortonworks Data Platform大数据平台的使用率怎么样? 对比cdh怎么样, hdp支持spark2.0? 效果如何?

sca7
2016/12/13
106
2
Spark 2.0

目前主流Hadoop分布式提供商都已经把Spark加入他们的核心产品组成了,Spark作为针对MapReduce的替代品获得了很多关注。(MapReduce是Hadoop原生大数据分析数据处理引擎)。这种势头在去年底得到...

莫问viva
2016/08/12
100
0
Apache Spark 2.0 最快今年4月亮相

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame 大数据技术Spark今年1月才刚释出1.6版...

oschina
2016/02/29
2.9K
16

没有更多内容

加载失败,请刷新页面

加载更多

下一页

arts-week5

Algorithm 824. Goat Latin - LeetCode 152. Maximum Product Subarray - LeetCode 110. Balanced Binary Tree - LeetCode 67. Two Sum II - Input array is sorted - LeetCode 665. Non-dec......

yysue
28分钟前
0
0
iOS开发之AddressBook框架详解

iOS开发之AddressBook框架详解 一、写在前面 首先,AddressBook框架是一个已经过时的框架,iOS9之后官方提供了Contacts框架来进行用户通讯录相关操作。尽管如此,AddressBook框架依然是一个非...

珲少
58分钟前
1
0
两年摸爬滚打 Spring Boot,总结了这 16 条最佳实践

Spring Boot是最流行的用于开发微服务的Java框架。在本文中,我将与你分享自2016年以来我在专业开发中使用Spring Boot所采用的最佳实践。这些内容是基于我的个人经验和一些熟知的Spring Boot...

Java填坑之路
今天
4
0
《Spring5学习》04 - 面向切面编程

一、Spring面向切面编程的基本概念 面向切面编程(即AOP):把项目中需要再多处使用的功能比如日志、安全和事务等集中到一个类中处理,而不用在每个需要用到该功能的地方显式调用。 横切关注...

老韭菜
今天
2
0
day61-20180819-流利阅读笔记

跑道没了,它们还在跑:澳门赛狗业的遗孤 Daniel 2018-08-19 1.今日导读 相信你早就知道香港有个赛马会,可是你听说过香港的邻居澳门原本有个赛狗会吗?其实,对于澳门人来说,赛狗这项活动历...

aibinxiao
今天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部