文档章节

[Spark]Spark Java开发时的报错解决

lambcc
 lambcc
发布于 2016/04/02 18:45
字数 392
阅读 227
收藏 0

在Eclipse用Java开发Spark应用时,写好程序想调试Run起来的时候发现意外报错:

Exception:

Caused by: java.lang.SecurityException: class "javax.servlet.FilterRegistration"'s signer information does not match signer information of other classes in the same package
	at java.lang.ClassLoader.checkCerts(ClassLoader.java:952)
	at java.lang.ClassLoader.preDefineClass(ClassLoader.java:666)
	at java.lang.ClassLoader.defineClass(ClassLoader.java:794)
	at java.security.SecureClassLoader.defineClass(SecureClassLoader.java:142)
	at java.net.URLClassLoader.defineClass(URLClassLoader.java:449)
	at java.net.URLClassLoader.access$100(URLClassLoader.java:71)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:361)
	at java.net.URLClassLoader$1.run(URLClassLoader.java:355)
	at java.security.AccessController.doPrivileged(Native Method)
	at java.net.URLClassLoader.findClass(URLClassLoader.java:354)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:425)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:308)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:358)
	at org.eclipse.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:136)
	at org.eclipse.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:129)
	at org.eclipse.jetty.servlet.ServletContextHandler.<init>(ServletContextHandler.java:98)
	at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:96)
	at org.apache.spark.ui.JettyUtils$.createServletHandler(JettyUtils.scala:87)
	at org.apache.spark.ui.WebUI.attachPage(WebUI.scala:67)
	at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:60)
	at org.apache.spark.ui.WebUI$$anonfun$attachTab$1.apply(WebUI.scala:60)
	at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59)
	at scala.collection.mutable.ArrayBuffer.foreach(ArrayBuffer.scala:47)
	at org.apache.spark.ui.WebUI.attachTab(WebUI.scala:60)
	at org.apache.spark.ui.SparkUI.initialize(SparkUI.scala:49)
	at org.apache.spark.ui.SparkUI.<init>(SparkUI.scala:60)
	at org.apache.spark.ui.SparkUI$.create(SparkUI.scala:150)
	at org.apache.spark.ui.SparkUI$.createLiveUI(SparkUI.scala:105)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:237)
	at org.apache.spark.api.java.JavaSparkContext.<init>(JavaSparkContext.scala:58)
	at org.apache.hadoop.hive.ql.exec.spark.LocalHiveSparkClient.<init>(LocalHiveSparkClient.java:107)
	at org.apache.hadoop.hive.ql.exec.spark.LocalHiveSparkClient.getInstance(LocalHiveSparkClient.java:69)
	at org.apache.hadoop.hive.ql.exec.spark.HiveSparkClientFactory.createHiveSparkClient(HiveSparkClientFactory.java:52)
	at org.apache.hadoop.hive.ql.exec.spark.session.SparkSessionImpl.open(SparkSessionImpl.java:53)
	... 3 more


把依赖中的servlet-api 2.5 jar  remove from build path即可!(事实上在摸索的时候我还把javax.servlet 3.0.0 jar给删了,希望对后面的学习没有影响吧QWQ)


https://issues.apache.org/jira/browse/HIVE-8905

上面是查解决方案时发现的解决办法,有提到一些Spark在调用其他依赖时的关系,可以作为参考:

Hive depends on servlet-api 2.5, spark-core depends on org.eclipse.jetty.orbit javax.servlet 3.0.0. servlet-api 2.5 jar is not signed, while javax.servlet 3.0.0 jar is signed, Hive load other javax.servlet.* classes from servlet-api 2.5, then load javax.servlet.FilterRegistration from javax.servlet 3.0.0, so classloader throw the SecurityException.

by Chengxiang Li

© 著作权归作者所有

共有 人打赏支持
lambcc
粉丝 1
博文 2
码字总数 612
作品 0
广州
私信 提问
加载中

评论(1)

今天来找bug
今天来找bug
解决了问题13
Openfire+Spark源码开发环境搭建

首先第一步,当然是环境搭建了... Openfire官网:http://www.igniterealtime.org/index.jsp 源码下载地址:http://www.igniterealtime.org/downloads/index.jsp Openfire SVN下载地址:http:......

FallenPanda
2014/01/13
0
0
[Spark]Spark RDD 指南一 引入Spark

2.3.0版本:Spark2.3.0 引入Spark 1. Java版 Spark 2.1.1适用于Java 7及更高版本。 如果您使用的是Java 8,则Spark支持使用lambda表达式来简洁地编写函数,否则可以使用org.apache.spark.ap...

sjf0115
2017/06/08
0
0
Ubuntu下Spark开发环境搭建

Ubuntu 64基本环境配置 安装JDK,下载jdk-8u45-linux-x64.tar.gz,解压到/opt/jdk1.8.045 下载地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html 安装scala,下载s......

张国凯
2015/05/21
0
0
Spark2.1.0之基础知识

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/beliefer/article/details/80303035 在阅读本文之前,读者最好已经阅读了《Spark2.1.0之初识Spark》一文,本文...

泰山不老生
05/24
0
0
3.sparkSQL整合Hive

  spark SQL经常需要访问Hive metastore,Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始,Spark SQL只需简单的配置,就支持各版本Hive metastore的访问。注意,涉...

intsmaze(刘洋)
08/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

OSChina 周六乱弹 —— 你一口我一口多咬一口是小狗

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @达尔文 :分享Roy Orbison的单曲《She's a Mystery to Me》 《She's a Mystery to Me》- Roy Orbison 手机党少年们想听歌,请使劲儿戳(这里...

小小编辑
今天
93
4
Spring源码学习笔记-1-Resource

打算补下基础,学习下Spring源码,参考书籍是《Spring源码深度解析》,使用版本是Spring 3.2.x,本来想试图用脑图记录的,发现代码部分不好贴,还是作罢,这里只大略记录下想法,不写太细了 ...

zypy333
今天
12
0
RestClientUtil和ConfigRestClientUtil区别说明

RestClientUtil directly executes the DSL defined in the code. ConfigRestClientUtil gets the DSL defined in the configuration file by the DSL name and executes it. RestClientUtil......

bboss
今天
21
0

中国龙-扬科
昨天
4
0
Linux系统设置全局的默认网络代理

更改全局配置文件/etc/profile all_proxy="all_proxy=socks://rahowviahva.ml:80/"ftp_proxy="ftp_proxy=http://rahowviahva.ml:80/"http_proxy="http_proxy=http://rahowviahva.ml:80/"......

临江仙卜算子
昨天
13
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部