文档章节

如何获取Hadoop Native Lib

一只小逛
 一只小逛
发布于 2013/12/02 22:57
字数 261
阅读 8.7K
收藏 2

3 月,跳不动了?>>>

前言

最近需要安装CDH4.5, 在重启后提示缺失native lib, 经过一番折腾后,终于安装成功,下面记录下native lib的获取过程.

@Author  duangr

@Website http://my.oschina.net/duangr/blog/180905

1.相关环境

OS Centos6.4
Arch x86_64
Hadoop hadoop-2.0.0-cdh4.5.0
[主]duangr-1
192.168.56.10
[主]duangr-2
192.168.56.11
[主]duangr-3
192.168.56.12

2.获取代码

3.安装hadoop

安装hadoop-2.0.0-cdh4.5.0.tar.gz, 此处略

4.安装Native Lib

将hadoop-2.0.0+1518-1.cdh4.5.0.p0.24.el6.x86_64.rpm在PC上使用压缩工具打开后,取出\usr\lib\hadoop\lib\native 下面的代码,上传到主机 ${HADOOP_HOME}/lib/native 下面

cd ${HADOOP_HOME}/lib/native
rm libhadoop.so
rm libsnappy.so
rm libsnappy.so.1
ln -s libhadoop.so.1.0.0 libhadoop.so
ln -s libsnappy.so.1.1.3 libsnappy.so.1
ln -s libsnappy.so.1.1.3 libsnappy.so

cd ..
tar -zcf native.tar.gz native

scp native.tar.gz duangr-2:${HADOOP_HOME}/lib
ssh duangr-2 "cd ${HADOOP_HOME}/lib; tar -zxf native.tar.gz;"

scp native.tar.gz duangr-3:${HADOOP_HOME}/lib
ssh duangr-3 "cd ${HADOOP_HOME}/lib; tar -zxf native.tar.gz;"

5.安装完成

重启hadoop即可

6.相关链接

© 著作权归作者所有

一只小逛
粉丝 40
博文 24
码字总数 14513
作品 0
南京
技术主管
私信 提问
加载中

评论(1)

ordinance
ordinance
请问hadoop2.7.1该如何生成native lib呢?
Unable to load native-hadoop library for your pla

导致这个错的原因: 1.hadoop/lib/native/本地库不存在。 2.hadoop/lib/native/本地库与当前操作系统的版本位数不一致。 确定错误的原因: 1.查看hadoop/lib/native是否存在。 2.设置hadoop的...

cjun1990
2015/07/26
295
0
Hadoop SequnceFile.Writer 压缩模式及压缩库浅析

先说明SequnceFile的压缩类型(Compression Type)分为三种NONE,RECORD,BLOCK,通过配置项io.seqfile.compression.type指定: NONE, Do not compress records 即不压缩 RECORD, Compress v......

囚兔
2015/08/28
217
0
Hadoop的本地库(Native Libraries)及相关问题总结

主体转自:http://blog.sina.com.cn/s/blog3d9e90ad0102wqrp.html (未亲测,我的getconf LONGBIT返回32,且file libhadoop.so.1.0.0返回64,与之相反) Hadoop的本地库(Native Libraries)...

u013303361
2018/04/23
0
0
ubuntu下配置hadoop的状态监控页面

一、配置Hadoop $ cd /usr/local/hadoop/etc/hadoop $ vim core-site.xml 将下面的内容复制到 <configuration> 标签内 <property><name>fs.default.name</name><value>hdfs://localhost:9000......

孟飞阳
2016/06/25
46
0
编译hadoop2.9源码并搭建环境

因为以前安装Hadoop编译版的时候遇到过问题,时间比较久了,具体问题有些描述不清了,建议大家下载源码自己编译安装,如果遇到bug自己直接可以修改安装。本文的实验系统是mac,但是其他环境类...

土木匠
2017/12/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

JavaScript .prototype如何工作? - How does JavaScript .prototype work?

问题: I'm not that into dynamic programming languages but I've written my fair share of JavaScript code. 我不喜欢动态编程语言,但是我写了相当一部分JavaScript代码。 I never real......

javail
今天
16
0
介绍一个功能丰富的 Java 工具包

大家好,本文要分享一个精品的,优质的开源的 Java 相关的开源项目了。这个开源项目在 GitHub上已经收获了上万个 star 。 这个开源项目就是:Hutool 。它是一个功能丰富的 Java 工具包。它帮...

老孟的Linux私房菜
今天
18
0
什么是反射,为什么有用? - What is reflection and why is it useful?

问题: What is reflection, and why is it useful? 什么是反射,为什么有用? I'm particularly interested in Java, but I assume the principles are the same in any language. 我对Jav......

技术盛宴
今天
19
0
SSM框架整合

mybatis逆向工程 mybatis-generator生成pojo、mapper接口及映射文件 mapper放到e3-manager-dao层中 导入sql到数据库中; 导入逆向工程工具,配置xml文件 运行main方法 重复运行main不会覆盖!...

七宝1
今天
30
0
OSChina 周日乱弹 —— 和网友的第一次开房经历

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《Ljósið》- Ólafur Arnalds 手机党少年们想听歌,请使劲儿戳(这里) @xiaos...

小小编辑
今天
62
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部