Uncaught exception while reverting partial writes to file /tmp/spark

原创
2017/06/15 17:38
阅读数 1.2K

一、错误原因

Spark在执行的过程中,会将数据写到机器的临时目录下,而默认的临时路径是/tmp,再加上/tmp的磁盘空间本身不是很大,随着程序的往后执行,磁盘空间被写满了,然后错误就来了

 

二、错误代码

[storage.DiskBlockObjectWriter(96)] Uncaught exception while reverting partial writes to file /tmp/spark-e330f062-33dc-42c6-a97e-39c1200fe1ba/blockmgr-2f21a19c-5dfb-449d-b190-d4e1eb031cb0/20/temp_shuffle_75bd2224-bbf5-4c52-81a8-8be4cddcb2a8
java.io.IOException: 设备上没有空间

三、解决方案

得找一个空间更大的磁盘空间,如果么有那么大的磁盘空间,那就是硬伤了,如果有更大的磁盘空间,按照下面的方式,可以写1个目录,也可以写多个,写多个是为了提高程序执行的吞吐率的,这样就能解决问题,spark.local.dir=/disk/spark_work,/disk/spark_work_1,/disk/spark_work_2,/disk/spark_work_3,/disk/spark_work_4

 

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部