文档章节

Uncaught exception while reverting partial writes to file /tmp/spark

momisabuilder
 momisabuilder
发布于 2017/06/15 17:38
字数 233
阅读 624
收藏 0

一、错误原因

Spark在执行的过程中,会将数据写到机器的临时目录下,而默认的临时路径是/tmp,再加上/tmp的磁盘空间本身不是很大,随着程序的往后执行,磁盘空间被写满了,然后错误就来了

 

二、错误代码

[storage.DiskBlockObjectWriter(96)] Uncaught exception while reverting partial writes to file /tmp/spark-e330f062-33dc-42c6-a97e-39c1200fe1ba/blockmgr-2f21a19c-5dfb-449d-b190-d4e1eb031cb0/20/temp_shuffle_75bd2224-bbf5-4c52-81a8-8be4cddcb2a8
java.io.IOException: 设备上没有空间

三、解决方案

得找一个空间更大的磁盘空间,如果么有那么大的磁盘空间,那就是硬伤了,如果有更大的磁盘空间,按照下面的方式,可以写1个目录,也可以写多个,写多个是为了提高程序执行的吞吐率的,这样就能解决问题,spark.local.dir=/disk/spark_work,/disk/spark_work_1,/disk/spark_work_2,/disk/spark_work_3,/disk/spark_work_4

 

 

© 著作权归作者所有

momisabuilder

momisabuilder

粉丝 15
博文 67
码字总数 31440
作品 0
西安
后端工程师
私信 提问
Apache Spark 1.6.2 发布,集群计算环境

Apache Spark 1.6.2 发布了,Apache Spark 是一种与 Hadoop 相似的开源集群计算环境,但是两者之间还存在一些不同之处,这些有用的不同之处使 Spark 在某些工作负载方面表现得更加优越,换句...

愚_者
2016/06/28
3.8K
1
spark单机模式 和 集群模式 安装

1.spark单机模式安装 实现步骤: 1)安装和配置好JDK 2)上传和解压Spark安装包 3)进入Spark安装目录下的conf目录 复制conf spark-env.sh.template 文件为 spark-env.sh 在其中修改,增加如...

仟昭
03/01
137
0
Zinc server is not available at port 3030 - reverting to normal incremental compile

Building Spark Project ML Library 1.2.1 [INFO] ------------------------------------------------------------------------ [INFO] [INFO] --- maven-enforcer-plugin:1.3.1:enforce (en......

知行合一1
2017/04/08
962
0
spark 查看 job history 日志

SPARKHOME/conf 下: spark-defaults.conf 增加如下内容 spark.eventLog.enabled true spark.eventLog.dir hdfs://master:8020/var/log/spark spark.eventLog.compress true spark-env.sh 增加......

stark_summer
2015/06/11
142
0
Spark RDD算子、分区与Shuffle

RDD Spark的主要抽象是分布式的元素集合(distributed collection of items),称为RDD(Resilient Distributed Dataset,弹性分布式数据集) 它可被分发到集群各个节点上,进行并行操作。RDD可以...

trayvon
07/04
10
0

没有更多内容

加载失败,请刷新页面

加载更多

哪些情况下适合使用云服务器?

我们一直在说云服务器价格适中,具备弹性扩展机制,适合部署中小规模的网站或应用。那么云服务器到底适用于哪些情况呢?如果您需要经常原始计算能力,那么使用独立服务器就能满足需求,因为他...

云漫网络Ruan
今天
10
0
Java 中的 String 有没有长度限制

转载: https://juejin.im/post/5d53653f5188257315539f9a String是Java中很重要的一个数据类型,除了基本数据类型以外,String是被使用的最广泛的了,但是,关于String,其实还是有很多东西...

低至一折起
今天
23
0
OpenStack 简介和几种安装方式总结

OpenStack :是一个由NASA和Rackspace合作研发并发起的,以Apache许可证授权的自由软件和开放源代码项目。项目目标是提供实施简单、可大规模扩展、丰富、标准统一的云计算管理平台。OpenSta...

小海bug
昨天
11
0
DDD(五)

1、引言 之前学习了解了DDD中实体这一概念,那么接下来需要了解的就是值对象、唯一标识。值对象,值就是数字1、2、3,字符串“1”,“2”,“3”,值时对象的特征,对象是一个事物的具体描述...

MrYuZixian
昨天
9
0
解决Mac下VSCode打开zsh乱码

1.乱码问题 iTerm2终端使用Zsh,并且配置Zsh主题,该主题主题需要安装字体来支持箭头效果,在iTerm2中设置这个字体,但是VSCode里这个箭头还是显示乱码。 iTerm2展示如下: VSCode展示如下: 2...

HelloDeveloper
昨天
9
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部