文档章节

CDH中搭建Spark遇见的错误

o
 osc_w9s1w4o0
发布于 2019/03/28 22:31
字数 174
阅读 18
收藏 0

精选30+云产品,助力企业轻松上云!>>>

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/ FSDataInputStream

 

 

export SPARK_DIST_CLASSPATH=$(hadoop classpath)

还需要配置上 :

 


 

Spark 启动java.lang.NoClassDefFoundError: com/fasterxml/jackson/databind/Module

 

 

使用Maven下载以下依赖 : jackson-databind-xxx.jar、 jackson-core-xxx.jar、 jackson-annotations-xxx.jar

放到 $HADOOP_HOME/share/hadoop/common下

<dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-databind</artifactId>
            <version>2.4.4</version>
        </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-core</artifactId>
            <version>2.4.4</version>
        </dependency>

        <dependency>
            <groupId>com.fasterxml.jackson.core</groupId>
            <artifactId>jackson-annotations</artifactId>
            <version>2.4.4</version>
        </dependency>

 

 


 

Spark启动报  java.lang.ClassNotFoundError: parquet/hadoop/ParquetOutputCommitter

 

 

解决的版本是 将下面的jar包下载下来放到Spark的启动ClassPath下,然后开启Spark

 

<dependency>
            <groupId>com.twitter</groupId>
            <artifactId>parquet-hadoop</artifactId>
            <version>1.4.3</version>
        </dependency>

 

 将上面的 Jar 包 , 放入 /opt/app/spark-1.6.0-cdh5.13.2/sbin  如果Sbin 不行的话 在lib目录下也放一个相同的即可

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。
【Spark】Apache 及 CDH Spark 源码编译

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86574327 1、Apache Spark 源码编译 软件版本: JDK:1.7.0_67 Scala:2.10....

魏晓蕾
2019/01/21
0
0
【Spark】Spark本地运行模式及Standalone运行模式环境搭建

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/article/details/86584947 软件版本: JDK:1.7.0_67 Scala:2.10.4 Hadoop:2.5.0-cdh5.3.6 ...

魏晓蕾
2019/01/24
0
0
hive使用spark引擎的几种情况

使用spark引擎查询hive有以下几种方式: 1>使用spark-sql(spark sql cli) 2>使用spark-thrift提交查询sql 3>使用hive on spark(即hive本身设置执行引擎为spark) 针对第一种情况: 1>ambari 已...

osc_1p79c9v6
2018/09/06
4
0
Hive on spark实践

起因 搭建数据平台时,对已经存储在Hive的结构化数据进行一些简单的查询是一个比较常见的需求,目前我使用的版本是Hive 2.3,它支持的执行引擎有Spark、Tez。 配置 利用Cloudera的CDH套件搭建...

osc_klnoz5bx
2018/01/30
10
0
利用Knime建立Spark Machine learning 模型 1:开发环境搭建

1、Knime Analytics 安装 从官方网站下载合适的版本 https://www.knime.com/downloads 将下载的安装包在安装路径解压 https://www.knime.com/installation-0 下图是knime启动后的欢迎页面...

forestwater
2018/05/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

实战梯子游戏多年技巧心得回米必看

梯子游戏技巧交流回雪威【X3364FF】梯子游戏最起码是要学会找出它的规律,简单点我们要从低倍入手,这个有充足的考虑时间。 梯子游戏大概的走势可以分为长龙路、单跳路、对子路、房厅路。长龙...

风清杨啊
26分钟前
17
0
09VulKan——图像视图 采样器 组合图像取样器

整体思想: 使用一个纹理贴图到应用程序的流程: 注意: 在交换链和帧缓冲区中,图像不是直接访问,而是通过图像视图。这里借助图像视图来访问纹理图像 顶点着色器 #version 450#extensi...

黑白双键
27分钟前
11
0
等待收录

静态网站 https://dinghaobaojie.com/

张宏亮
40分钟前
18
0
UEditor富文本编辑

听很多人说百度推出的UEditor框架很实用,但是自己从来没有实践过,这一次有项目中用到,所以记录一下。(感觉一个东西会的人不难,没有做过掌握不到诀窍,就不太好弄) 主要可以分为三步: ...

axj_cfc
46分钟前
28
0
分布式事务

分布式事务处理机制共有四种: 两阶段提交 TCC事务(事务补偿) 本地消息表(异步确保), MQ事务消息。 两阶段提交: 与数据库XA事务一样,两阶段提交使用XA协议。 两阶段提交这种方案属于牺...

九分石人
48分钟前
21
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部