文档章节

spark2.0配合hive0.13.1使用问题处理

292672967
 292672967
发布于 2017/07/28 19:02
字数 271
阅读 25
收藏 0
点赞 0
评论 0

功能,spark2.0配合hive0.13.1使用,并保存数据到hive

错误: Invalid method name: 'alter_table_with_cascade'

解决1:

           将hive-site.xml中的 hive.metastore.uris配置项置空。使用jdo相关配置。此举是将spark提取hive元信息的方式修改为直接从数据库提取。虽然可以解决,但是客户方不给该数据。

 

解决2:

      配置spark-defaults.conf,增加spark.sql.hive.metastore.jars和spark.sql.hive.metastore.version项。

  配置完成后 Invalid method name: 'alter_table_with_cascade'异常消失了, 

结果运行又出现了NoSuchMethodException:org.apche.hadoop.,hive.ql.metada.Hive. loadTable(org.apche.hadoop.fs.Path,java.lang.String,boolean,boolean)的错误。

找到该类Hive.java,里面的loadTable方法竟然需要5个参数。果然没有4个参数的loadTable 方法。只能参照Shim_v0_14修改 Spark中的HiveShim.scala中的Shim_v0_13类,增加

loadTable和loadPartition方法。重新编译,执行。

竟然好了。看来spark中的bug也挺多,或者我的用法不对?

解决问题中有一个很奇怪的现象:在yarn-client 模式下竟然未出现 loadTable方法未找到的问题

还有遗留问题:为什么yarn-client模式下没有出现问题?

© 著作权归作者所有

共有 人打赏支持
292672967
粉丝 9
博文 12
码字总数 7692
作品 0
西安
程序员
Hive问题记录

hive单表分区数过多执行查询报错(实际上分区数越多查询越慢,应控制分区数在5000以下): java.lang.OutOfMemoryError: Java heap space 参考:OOM occurs when query spans to a large nu...

cwalet ⋅ 2014/05/19 ⋅ 3

CDH5.12.0 如何升级到Spark2.0 版本

CDH5.12.0 如何升级到Spark2.0 版本 标签(空格分隔): 大数据平台构建 一: CDH5.12.0 的spark2.0 的概述: http://archive.cloudera.com/spark2/csd/ http://archive.cloudera.com/spark2...

flyfish225 ⋅ 05/18 ⋅ 0

北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求

北风网Spark2.0视频054.用户访问session分析-top10活跃session之分 北风网Spark2.0视频054.用户访问session分析-top10活跃session之分的项目代码谁有呀?求 没空看视频呀...

Baclk5 ⋅ 2017/08/10 ⋅ 0

Hortonworks Data Platform大数据平台的使用率怎么样?

Hortonworks Data Platform大数据平台的使用率怎么样? 对比cdh怎么样, hdp支持spark2.0? 效果如何?

sca7 ⋅ 2016/12/13 ⋅ 2

Spark 2.0

目前主流Hadoop分布式提供商都已经把Spark加入他们的核心产品组成了,Spark作为针对MapReduce的替代品获得了很多关注。(MapReduce是Hadoop原生大数据分析数据处理引擎)。这种势头在去年底得到...

莫问viva ⋅ 2016/08/12 ⋅ 0

一台cento7.0,另外一台ubutu ,搭建一个spark2.0的集群,有人试过吗?

一台cento7.0,另外一台ubutu ,搭建一个spark2.0的集群,有人试过吗?

sca7 ⋅ 2017/03/11 ⋅ 0

Apache Spark 2.0 最快今年4月亮相

1月才刚释出1.6版的大数据技术Spark,下一个2.0版本预计4、5月释出,将提供可运行在SQL/Dataframe上的结构化串流即时引擎,并统一化Dataset及DataFrame 大数据技术Spark今年1月才刚释出1.6版...

oschina ⋅ 2016/02/29 ⋅ 16

32位的centos 可以跑 spark2.0的任务吗?

32位的centos 可以跑 spark2.0的任务吗?

sca7 ⋅ 2017/03/11 ⋅ 0

spark2.0新特性

使用: 离线计算:数据源大多来自hdfs(hive),所以sql使用的非常多,几乎每个离线计算作业都会用到hivecontext或sqlcontext 实时计算:streaming模块 图计算在企业里用的很少,需求少 数据挖...

曾晓森 ⋅ 2016/09/18 ⋅ 0

cdh5.9的spark1.6怎么换spark2.0

cdh5.9的spark1.6怎么换spark2.0

sca7 ⋅ 2017/02/07 ⋅ 1

没有更多内容

加载失败,请刷新页面

加载更多

下一页

从方法论到零售客户实践 解码阿里巴巴数据中台——2018上海云栖大会

摘要: 一、数据中台之道 6月8日,上海云栖大会进入了第二天的议程,数据中台专场论坛座无虚席,数据中台总架构师邓中华女士向在场的观众介绍了数据中台的衍生发展之道。 基于OneID、OneData...

阿里云云栖社区 ⋅ 22分钟前 ⋅ 0

Ubuntu部署django问题汇总

使用Anaconda3的Python3.6的pip安装UWSGI报错 原因是gcc版本不兼容,安装4.7并修改gccsudo apt-get install gcc-4.7sudo mv /usr/bin/gcc /usr/bin/gcc.baksudo ln -s /usr/bin/gcc-4.......

wuyaSama ⋅ 25分钟前 ⋅ 0

从方法论到零售客户实践 解码阿里巴巴数据中台——2018上海云栖大会

摘要: 一、数据中台之道 6月8日,上海云栖大会进入了第二天的议程,数据中台专场论坛座无虚席,数据中台总架构师邓中华女士向在场的观众介绍了数据中台的衍生发展之道。 基于OneID、OneData...

猫耳m ⋅ 25分钟前 ⋅ 0

Docker减肥小记

如果经常使用 docker,你会发现 docker 占用的资源膨胀很快,其中最明显也最容易被察 如何快速的清理 docker 占用的系统资源,具体点说就是删除那些无用的镜像、容器、网络和数据卷… 1、查看...

寰宇01 ⋅ 36分钟前 ⋅ 0

微信小程序中如何使用WebSocket实现长连接(含完整源码)

本文由腾讯云技术团队原创,感谢作者的分享。 1、前言 微信小程序提供了一套在微信上运行小程序的解决方案,有比较完整的框架、组件以及 API,在这个平台上面的想象空间很大。腾讯云研究了一...

JackJiang- ⋅ 44分钟前 ⋅ 0

定制库到Maven本地资源库

1.如果只有定制库的JAR文件 下载链接如下:pdf.jar 2.使用命令转换成Maven本地资源 mvn install:install-file -Dfile=/Users/manager/Downloads/clj-pdf-2.2.33.jar -DgroupId=clj-pdf -Dar......

年少爱追梦 ⋅ 48分钟前 ⋅ 0

高仿springmvc之xuchen-mvc

package org.mvc.framework.servlet; import java.io.BufferedReader; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.File; import java.io.......

徐志 ⋅ 50分钟前 ⋅ 0

关于自定义URLStreamHandler的一次踩坑

关于自定义URLStreamHandler的一次踩坑 20180625 lambo init 说明 一般自定义实现url的协议解析.方案为实现URLStreamHandler.实现其 openConnection 就可以了, 如果我们执行 new URL("xx://...

林小宝 ⋅ 51分钟前 ⋅ 0

【SM2证书】利用BC的X509v3CertificateBuilder组装X509国密证书

演示证书文件 链接: https://pan.baidu.com/s/1ijHNnMQJj7jzW-jXEVd6Gg 密码: vfva 所需jar包 <!-- https://mvnrepository.com/artifact/org.bouncycastle/bcpkix-jdk15on --> <dependenc......

小帅帅丶 ⋅ 52分钟前 ⋅ 0

用Calendar 实现 计算 一段时间的毫秒值

Calendar c=Calendar.getInstance();c.add(Calendar.MONTH, -1);int lastMonthMaxDay=c.getActualMaximum(Calendar.DAY_OF_MONTH);c.set(c.get(Calendar.YEAR), c.get(Calendar.MONTH)......

岸芷汀兰 ⋅ 56分钟前 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部