文档章节

hadoop无法加载本地库

隆回水哥
 隆回水哥
发布于 2017/03/15 16:09
字数 314
阅读 46
收藏 0

centos上安装配置完hadoop,每次执行hadoop命令,总会出现警告:Unable to load native-hadoop library for your platform。

使用hadoop的版本是:http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

在网上查了一下,说是要加环境变量

vim /etc/profile
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

# 保存

source /etc/profile

停止、启动hadoop,还是会出现一样的警告。

 

还有种说法是HADOOP_OPTS配置应该如下:

vim /etc/profile
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

但还是不起作用。

 

最后发现:操作系统的版本是32位,执行如下命令,没有看到64的字样

uname -a

Linux dev3 2.6.32-642.1.1.el6.i686 #1 SMP Tue May 31 20:41:01 UTC 2016 i686 i686 i386 GNU/Linux

 

查看hadoop的本地库信息信息,可以看到是64位的,与32位操作系统不一致

file $HADOOP_HOME/lib/native/libhadoop.so.1.0.0

/root/hadoop/hadoop-2.7.3/lib/native/libhadoop.so.1.0.0: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamically linked, not stripped

 

最后:安装64位的centos,运行hadoop,没有上面的环境变量配置也不会有如上的警告。

最后的结论:hadoop的本地库版本要和操作系统的版本一致,不然加载不了。

© 著作权归作者所有

上一篇: ssh无密码登录
下一篇: jmeter分布式测试
隆回水哥
粉丝 14
博文 49
码字总数 18518
作品 0
深圳
高级程序员
私信 提问
Hadoop的本地库(Native Libraries)及相关问题总结

主体转自:http://blog.sina.com.cn/s/blog3d9e90ad0102wqrp.html (未亲测,我的getconf LONGBIT返回32,且file libhadoop.so.1.0.0返回64,与之相反) Hadoop的本地库(Native Libraries)...

u013303361
2018/04/23
0
0
使用Eclipse运行Hadoop 2.x MapReduce程序常见问题

1、 当我们编写好MapReduce程序,点击Run on Hadoop的时候,Eclipse控制台输出如下内容: 这个信息告诉我们没有找到log4j.properties文件。如果没有这个文件,程序运行出错的时候,就没有打印...

chapin
2014/10/21
644
0
Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compression.type指定: NONE, Do not compress records 即不压缩 RECORD, Compress v......

囚兔
2015/08/28
168
0
CentOS7中编译Hadoop2.x

环境 VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1 1、关于Hadoop本地库 1.1、可能存在的问题 Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本,自带的本地...

悟空太多啦
2015/08/03
669
0
spark提示 Unable to load native-hadoop lib

spark在提交任务的时候,也会跟hadoop一样,报这个异常。 前提是hadoop/lib/native中已经有那些包了,然后把hadoop/lib/native加到环境变量LDLIBRARYPATH中。 在~/.bashrc中加入如下代码,为...

cjun1990
2016/04/20
732
0

没有更多内容

加载失败,请刷新页面

加载更多

分布式协调服务zookeeper

ps.本文为《从Paxos到Zookeeper 分布式一致性原理与实践》笔记之一 ZooKeeper ZooKeeper曾是Apache Hadoop的一个子项目,是一个典型的分布式数据一致性的解决方案,分布式应用程序可以基于它...

ls_cherish
今天
4
0
redis 学习2

网站 启动 服务端 启动redis 服务端 在redis 安装目录下 src 里面 ./redis-server & 可以指定 配置文件或者端口 客户端 在 redis 的安装目录里面的 src 里面 ./redis-cli 可以指定 指定 连接...

之渊
昨天
2
0
Spring boot 静态资源访问

0. 两个配置 spring.mvc.static-path-patternspring.resources.static-locations 1. application中需要先行的两个配置项 1.1 spring.mvc.static-path-pattern 这个配置项是告诉springboo......

moon888
昨天
4
0
hash slot(虚拟桶)

在分布式集群中,如何保证相同请求落到相同的机器上,并且后面的集群机器可以尽可能的均分请求,并且当扩容或down机的情况下能对原有集群影响最小。 round robin算法:是把数据mod后直接映射...

李朝强
昨天
4
0
Kafka 原理和实战

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介:郑志彬,毕业于华南理工大学计算机科学与技术(双语班)。先后从事过电子商务、开放平...

vivo互联网技术
昨天
24
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部