spark提示 Unable to load native-hadoop lib

原创
2016/04/20 10:44
阅读数 980

spark在提交任务的时候,也会跟hadoop一样,报这个异常。

前提是hadoop/lib/native中已经有那些包了,然后把hadoop/lib/native加到环境变量LD_LIBRARY_PATH中。

在~/.bashrc中加入如下代码,为保险起见,在每个spark节点都加:

export LD_LIBRARY_PATH=/home/bigdata/apps/hadoop-2.6.0-cdh5.5.2/lib/native/:$LD_LIBRARY_PATH

source ~/.bashrc

参考:spark加载hadoop本地库的时候出现不能加载的情况要怎么解决呢?

 

展开阅读全文
加载中
点击引领话题📣 发布并加入讨论🔥
打赏
0 评论
1 收藏
1
分享
返回顶部
顶部