文档章节

hadoop2.6.0 在64位CentOS 6.4系统上的编译

霖_柒
 霖_柒
发布于 2015/12/31 17:30
字数 910
阅读 561
收藏 5
点赞 1
评论 0

直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable警告
这是因为hadoop本地库和系统不兼容导致,这个时候我们就需要手动在系统上编译hadoop了


所需包:
jdk-6u29-linux-x64.bin
下载地址:http://download.csdn.net/detail/tonylllz/9385886

apache-ant-1.9.6-bin.tar.gz
下载地址:http://download.csdn.net/detail/tonylllz/9385789

apache-maven-3.2.5-bin.tar.gz
下载地址:http://download.csdn.net/detail/tonylllz/9385793

findbugs-3.0.1.tar.gz
下载地址:http://download.csdn.net/detail/tonylllz/9385813

hadoop-2.6.0-src.tar.gz
下载地址:http://download.csdn.net/detail/tonylllz/9385803

protobuf-2.5.0.tar.gz
下载地址:http://download.csdn.net/detail/tonylllz/9385811

这里需要注意:
①因为笔者的linux系统是64位的所以需要的jdk也必须是64位的,否则在编译过程会一直去寻找32位的各个插件进行运行,进而导致错误
②protobuf必须是2.5.0版本的

好了,下面我们开始安装、编译吧~

①jdk安装:

./jdk-6u29-linux-x64.bin
mv ./$jdk_bin_dir /usr/local/jdk
ln -s /usr/local/jdk/bin/java /usr/bin/java
ln -s /usr/local/jdk/bin/jps /usr/bin/jps

vim /etc/profile 添加
export JAVA_HOME=/usr/local/jdk
export PATH=$PATH:$JAVA_HOME/bin:

保存退出/etc/profile,并执行 source /etc/profile



执行java -version  若出现一下内容则表示jdk安装成功

②安装protobuf


因为protobuf的安装需要用到c++编译,所以这里需要安装gcc 等工具
yum -y install gcc+ gcc-c++
yum -y install make

tar zxvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure --prefix=/usr/local/protobuf
make
make check
make install

vim /etc/profile 添加
export PATH=$PATH:/usr/local/protobuf/bin/
export PKG_CONFIG_PATH=/usr/local/protobuf/lib/pkgconfig/
保存退出/etc/profile,并执行 source /etc/profile

配置动态链接库路径
vim /etc/ld.so.conf
插入:
/usr/local/protobuf/lib

执行 protoc --version 出现以下内容则表示安装成功
libprotoc 2.5.0



③安装ant

tar zxvf apache-ant-1.9.6-bin.tar.gz
vim /etc/profile 添加
export ANT_HOME=/home/hadoop/apache-ant-1.9.6
export PATH=$PATH:$ANT_HOME/bin
保存退出/etc/profile,并执行 source /etc/profile






④安装maven

tar zxvf apache-maven-3.2.5-bin.tar.gz
vim /etc/profile 添加
export MAVEN_HOME=/home/hadoop/apache-maven-3.2.5
export PATH=$PATH:$MAVEN_HOME/bin
保存退出/etc/profile,并执行 source /etc/profile



⑤安装findbugs

tar zxvf findbugs-3.0.1.tar.gz
vim /etc/profile 添加
export FINDBUGS_HOME=/home/hadoop/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin
保存退出/etc/profile,并执行 source /etc/profile



⑤开始编译

在编译hadoop过程会需要用到cmake,automake,libtool,zlib,openssl 所以这里我们也先安装下,可以直接用linux的yum安装
yum -y install cmake
yum -y install automake
yum -y install libtool
yum -y install zlib
yum -y install zlib-devel
yum -y install openssl
yum -y install openssl-devel

查看PATH系统变量至少包括下面内容:



tar zxvf hadoop-2.6.0-src.tar.gz
cd hadoop-2.6.0-src
mvn package -Pdist,native -DskipTests -Dtar

如果是第一次编译所需的时间会比较久,因为需要去远程仓库将要用的包一个个下载下来,若有现车的仓库,可以直接上传到linux的本地库,这样会加快编译的速度。

编译成功后显示



编译成功后的包在 hadoop-2.6.0-src/hadoop-dist/target下



补充说明下,编译过程难免会遇到问题,本篇文件已经将遇到的问题所需的包都在编译前提出,并安装好了,但大家的系统环境难免和笔者有所不同。这里举例说明下在遇到编译错误的时候该如何去解决

解决方法:
yum -y install zlib
yum -y install zlib-devel



© 著作权归作者所有

共有 人打赏支持
霖_柒
粉丝 1
博文 15
码字总数 19843
作品 0
福州
U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】

U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】 U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】( rhel基本相同) 本文案例是我安装32系统的,64位时U盘单个文件大于4G不能fat32格式...

yufulinux ⋅ 2014/05/09 ⋅ 0

U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】

U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】 U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】( rhel基本相同) 本文案例是我安装32系统的,64位时U盘单个文件大于4G不能fat32格式...

yufulinux ⋅ 2014/05/09 ⋅ 0

U盘移动硬盘引导启动安装linux系统Centos 6.4

U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】 U盘、移动硬盘引导启动安装linux系统【Centos 6.4 】( rhel基本相同) 本文案例是我安装32系统的,64位时U盘单个文件大于4G不能fat32格式...

yufulinux ⋅ 2014/05/09 ⋅ 0

centos-LiveDVD安装出错了【我可耻的伸手了】

小白第一次接触linux,看了鸟哥的书后决定安装centos学习。 我的电脑是64位系统,最开始选择的是binDVD1,但是经反复失败后,发现由于单个文件过大,不能装进U盘 后来选择了LiveDVD版本,按照...

年轻的小蜜蜂 ⋅ 2013/09/29 ⋅ 12

CentOS6.5升级手动安装GCC4.8.2

一、简易安装 操作环境 CentOS6.5 64bit,原版本4.4.7,不能支持C++11的特性~,希望升级到4.8.2 不能通过yum的方法升级,需要自己手动下载安装包并编译 1.1 获取安装包并解压 wget http://ft...

bengozhong ⋅ 2016/02/20 ⋅ 0

如何到CentOS官网,下载CentOS ISO 镜像

我们到CentOS的官网,下载CentOS ISO 镜像。下面以下载CentOS 6.4系统为例! 1、在浏览器中,输入www.centos.org ,如下图所示: 2、点击镜像目录,如下图所示: 3、下载镜像站点,最好选在离...

anlicec ⋅ 2013/05/08 ⋅ 0

centos64位编译ekho中文字间读音有停顿

@黄冠能 你好,想跟你请教个问题:linux centos 6.4 64位系统,自己编译出二进制文件,ekho中字间读音有明显停顿,不知道eGuideDog中是否也有停顿。停顿这个问题是否可以优化,应该怎样进行优...

dreamerwang ⋅ 2014/10/17 ⋅ 0

【转】在CentOS 6.4中编译安装GCC 4.8.1 + GDB 7.6.1

在CentOS 6.4中编译安装GCC 4.8.1 + GDB 7.6.1 一、编译安装gcc 4.8.1 1. 安装gcc和g++ 新安装的CentOS缺少编译环境,必须先安装旧版本的gcc, 然后再进行自举编译 yum -y install gcc yum -...

陈小花与胡汉三 ⋅ 2015/04/17 ⋅ 0

yum总结以及应用

1: yum可以自动解决安装包的依赖关系 yum配置文件 远程服务器 ftp:// http:// 本地服务器 file:/// http://172.16.0.1/cobbler/ksmirror/centos-6.4-x8664 客户端: yum install|reinstall|...

技术小阿哥 ⋅ 2017/11/27 ⋅ 0

Linux基础篇之二系统redhat 6.4的安装

Linux的安装说明 本文主要介绍Linux的安装。 本文以redhat 6.4为例 ; 大家也可以安装下载CentOS,CentOS就是从redhat基础上衍生出来的,安装方法大同小异。 Redhat 6.4种子镜像: ed2k://|...

ccs_Chan ⋅ 2016/08/22 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

js模拟栈和队列

栈和队列 栈:LIFO(先进后出)一种数据结构 队列:LILO(先进先出)一种数据结构 使用的js方法 1.push();可以接收任意数量的参数,把它们逐个推进队尾(数组末尾),并返回修改后的数组长度。 2....

LIAOJIN1 ⋅ 7分钟前 ⋅ 0

180619-Yaml文件语法及读写小结

Yaml文件小结 Yaml文件有自己独立的语法,常用作配置文件使用,相比较于xml和json而言,减少很多不必要的标签或者括号,阅读也更加清晰简单;本篇主要介绍下YAML文件的基本语法,以及如何在J...

小灰灰Blog ⋅ 16分钟前 ⋅ 0

IEC60870-5-104规约传送原因

1:周期循环2:背景扫描3:自发4:初始化5:请求6:激活7:激活确认8:停止激活9:停止激活确认10:激活结束11:远程命令引起的返送信息12:当地命令引起的返送信息13:文件传送20:响应总召...

始终初心 ⋅ 29分钟前 ⋅ 0

【图文经典版】冒泡排序

1、可视化排序过程 对{ 6, 5, 3, 1, 8, 7, 2, 4 }进行冒泡排序的可视化动态过程如下 2、代码实现    public void contextLoads() {// 冒泡排序int[] a = { 6, 5, 3, 1, 8, 7, 2, ...

pocher ⋅ 39分钟前 ⋅ 0

ORA-12537 TNS-12560 TNS-00530 ora-609解决

oracle 11g不能连接,卡住,ORA-12537 TNS-12560 TNS-00530 TNS-12502 tns-12505 ora-609 Windows Error: 54: Unknown error 解决方案。 今天折腾了一下午,为了查这个问题。。找了N多方案,...

lanybass ⋅ 53分钟前 ⋅ 0

IDEA反向映射Mybatis

1.首先在pom文件的plugins中添加maven对mybatis-generator插件的支持 ` <!-- mybatis逆向工程 --><plugin><groupId>org.mybatis.generator</groupId><artifactId>mybatis-generator-ma......

lichengyou20 ⋅ 58分钟前 ⋅ 0

4.10/4.11/4.12 lvm讲解 4.13 磁盘故障小案例

准备磁盘分区 fdisk /dev/sdb n 创建三个新分区,分别1G t 改变分区类型为8e 准备物理卷 pvcreate /dev/sdb1 pvcreate /dev/sdb2 pvcreate /dev/sdb3 pvdisplay/pvs 列出当前的物理卷 pvremo...

Linux_老吴 ⋅ 今天 ⋅ 0

zabbix 3.4安装

#已装好lamp环境 1.安装相关yum仓库 rpm -i http://repo.zabbix.com/zabbix/3.4/rhel/7/x86_64/zabbix-release-3.4-2.el7.noarch.rpm #tip:rpm -ql zabbix-release 看上面这个软件装了哪些东......

山月关 ⋅ 今天 ⋅ 0

Java的Excel导出工具类

首先在POM中引入需要的Jar <dependency><groupId>com.alibaba</groupId><artifactId>fastjson</artifactId><version>1.2.47</version></dependency><dependency><groupId>o......

Kxvz ⋅ 今天 ⋅ 0

springboot 使用jsp

目录结构: 启动文件的Application必须在contorller文件的父级 文件路径在src/main/webapp下面 我的配置:前缀是/WEB-INF/jsp/ pom.xml需要加入tomcat-embed-jasper, 对jsp的支持的依赖 <de...

夜醒者 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部