文档章节

spark2.0配合hive0.13.1使用问题处理

292672967
 292672967
发布于 2017/07/28 19:02
字数 271
阅读 38
收藏 0

功能,spark2.0配合hive0.13.1使用,并保存数据到hive

错误: Invalid method name: 'alter_table_with_cascade'

解决1:

           将hive-site.xml中的 hive.metastore.uris配置项置空。使用jdo相关配置。此举是将spark提取hive元信息的方式修改为直接从数据库提取。虽然可以解决,但是客户方不给该数据。

 

解决2:

      配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version项。

  配置完成后 Invalid method name: 'alter_table_with_cascade'异常消失了, 

结果运行又出现了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的错误。

找到该类Hive.java,里面的loadTable方法竟然需要5个参数。果然没有4个参数的loadTable 方法。只能参照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13类,增加

loadTable和loadPartition方法。重新编译,执行。

竟然好了。看来spark中的bug也挺多,或者我的用法不对?

解决问题中有一个很奇怪的现象:在yarn-client 模式下竟然未出现 loadTable方法未找到的问题

还有遗留问题:为什么yarn-client模式下没有出现问题?

© 著作权归作者所有

共有 人打赏支持
292672967
粉丝 10
博文 12
码字总数 7692
作品 0
西安
程序员
私信 提问
CDH5.12.0 如何升级到Spark2.0 版本

CDH5.12.0 如何升级到Spark2.0 版本 标签(空格分隔): 大数据平台构建 一: CDH5.12.0 的spark2.0 的概述: http://archive.cloudera.com/spark2/csd/ http://archive.cloudera.com/spark2...

flyfish225
05/18
0
0
北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求

北风网Spark2.0视频054.用户访问session分析-top10活跃session之分 北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求 没空看视频呀...

天池番薯
2017/08/10
28
0
做个统计,目前spark2.0,使用spark的公司,使用scala多些还是Java多些?

做个统计,目前spark2.0,使用spark的公司,使用scala多些还是Java多些?

知行合一1
2017/04/09
490
2
Hortonworks Data Platform大数据平台的使用率怎么样?

Hortonworks Data Platform大数据平台的使用率怎么样? 对比cdh怎么样, hdp支持spark2.0? 效果如何?

知行合一1
2016/12/13
118
2
spark2.0新特性

使用: 离线计算:数据源大多来自hdfs(hive),所以sql使用的非常多,几乎每个离线计算作业都会用到hivecontext或sqlcontext 实时计算:streaming模块 图计算在企业里用的很少,需求少 数据挖...

曾晓森
2016/09/18
214
0

没有更多内容

加载失败,请刷新页面

加载更多

IC-CAD Methodology知识图谱

CAD (Computer Aided Design),计算机辅助设计,指利用计算机及其图形设备帮助设计人员进行设计工作,这个定义同样可以用来近似描述IC公司CAD工程师这个岗位的工作。 早期IC公司的CAD岗位最初...

李艳青1987
13分钟前
4
0
《今日简史:人类命运大议题》的读后感范文3400字

《今日简史:人类命运大议题》的读后感范文3400字: 文:余祥。尤瓦尔.赫拉利,耶路撒冷希伯来大学教授,全球瞩目的新锐历史学家。今年已经拜读其著《人类简史:从动物到上帝》《未来简史:从...

原创小博客
23分钟前
1
0
Eos测试框架EosFactory

EOS Factory包含一个完整的EOS测试框架,可以进行智能合约的开发和测试。由Tokenika于创建于2017年的这个基于Python的EOS测试框架可以轻松地完成智能合约的开发、部署与测试。 如果你希望马上...

汇智网教程
29分钟前
5
0
CompletableFuture get方法一直阻塞或抛出TimeoutException

问题描述 最近刚刚上线的服务突然抛出大量的TimeoutException,查询后发现是使用了CompletableFuture,并且在执行future.get(5, TimeUnit.SECONDS);时抛出了TimeoutException异常,导致接口响...

xiaolyuh
54分钟前
3
0
dubbo 搭建与使用

官网:http://dubbo.apache.org/en-us/ 一,安装监控中心(可以不安装) admin管理控制台,monitor监控中心 下载 bubbo ops 这个是新版的,需要node.js环境,我没有就用老版的了...

小兵胖胖
57分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部