spark提交任务:java.net.UnknownHostException: cluster1

原创
2016/05/03 10:33
阅读数 1.7W

由于我的hdfs集群配置了HA,在提交spark任务时,提示:java.net.UnknownHostException: cluster1。于是寻找解决方案。

首先参考:[解决]Spark运行中java.net.UnknownHostException: nameservice1的异常

1.复制hdfs-site.xml到spark的配置目录,没效果

2.复制hdfs-site.xml和core-site.xml到spark的配置目录,没效果

所以上面这篇文章没效果,通过google,找到这篇文章:Accessing HDFS HA from spark job (UnknownHostException error)

在这篇文章中找到了这么一句话:I've found the solution - adding "spark.files file:///opt/spark/conf/hdfs-site.xml,file:///opt/spark/conf/core-site.xml" to conf/spark-defaults.conf on each slave

3.于是我也在我的spark-default.xml加上了下面这一句配置

spark.files 
file:///home/bigdata/apps/spark-1.5.0-bin-hadoop2.6/conf/hdfs-site.xml,file:///home/bigdata/apps/spark-1.5.0-bin-hadoop2.6/conf/core-site.xml

重新启动spark集群,不再提示上面那个错误。

所以解决此问题的关键是在spark-default.xml中加上spark.files这个配置。

 

展开阅读全文
加载中
点击加入讨论🔥(1) 发布并加入讨论🔥
打赏
1 评论
3 收藏
2
分享
返回顶部
顶部