文档章节

编译Hadoop-64 bit

ifree613
 ifree613
发布于 2016/03/04 14:59
字数 747
阅读 31
收藏 0
点赞 1
评论 0

Hadoop源码版本:2.5.2

名称 版本
JDK

1.7u75(64bit)


Maven 3.3.1
Protobuf 2.5.0
autoconfautomake yum自动选择
libtool yum自动选择
cmake yum自动选择
openssl-devel yum自动选择
ncurses-devel yum自动选择
gcc* yum自动选择

4.2、安装依赖软件

yum install autoconfautomake libtool cmake

yum install openssl-devel

yum install ncurses-devel

yum install gcc*

4.2、安装maven

maven解析到安装目录,然后配置环境变量

MAVEN_HOME=/home/bdata/software/apache-maven-3.3.1

PATH=.:$MAVEN_HOME/bin

 

设置maven配置文件(settings.xml

本例设置如下:

<?xml version="1.0" encoding="UTF-8"?>

 

<settings xmlns="http://maven.apache.org/SETTINGS/1.0.0"

          xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

          xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.0.0 http://maven.apache.org/xsd/settings-1.0.0.xsd">

 

  <!-- <localRepository>D:\Program Files\JavaSoft\apache-maven-3.1.0\repository</localRepository> -->

  <pluginGroups>  

  </pluginGroups>

  <proxies>

  </proxies>

  <servers>

       <server>

              <id>releases</id>

              <username>admin</username>

              <password>admin123</password>

       </server>

       <server>

              <id>snapshots</id>

              <username>admin</username>

              <password>admin123</password>

       </server>

  </servers>

  <mirrors>  

        <mirror>

      <id>nexts-central</id>

      <url>http://192.168.50.213:8081/nexus/content/repositories/central/</url>

      <mirrorOf>central</mirrorOf>

    </mirror>

       <mirror>

      <id>nexts-apache-snapshot</id>

      <url>http://192.168.50.213:8081/nexus/content/repositories/apache-snapshots/</url>

      <mirrorOf>apache-snapshots</mirrorOf>

    </mirror>

       <mirror>

      <id>nexts-codehaus-snapshots</id>

      <url>http://192.168.50.213:8081/nexus/content/repositories/codehaus-snapshots/</url>

      <mirrorOf>codehaus-snapshots</mirrorOf>

    </mirror>

       <mirror>

      <id>nexts-thirdparty</id>

      <url>http://192.168.50.213:8081/nexus/content/repositories/thirdparty/</url>

      <mirrorOf>thirdparty</mirrorOf>

    </mirror>      

       <mirror>

              <id>nexus-osc</id>

              <mirrorOf>*</mirrorOf>

              <name>Nexus osc</name>

              <url>http://maven.oschina.net/content/groups/public/</url>

       </mirror>

       <mirror>

              <id>osc_thirdparty</id>

              <mirrorOf>thirdparty</mirrorOf>

              <url>http://maven.oschina.net/content/repositories/thirdparty/</url>

       </mirror>

  </mirrors>

  <profiles>

    <profile>

      <!--this profile will allow snapshots to be searched when activated-->

      <id>nexus</id>

      <repositories>        

              <repository>

                     <id>nexts-central</id>

                     <name>local private nexus</name>

                     <url>http://192.168.50.213:8081/nexus/content/groups/public</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>false</enabled>

                     </snapshots>

              </repository>

             

              <repository>

                     <id>nexus thirdparty</id>

                     <name>local private thirdparty</name>

                     <url>http://192.168.50.213:8081/nexus/content/repositories/thirdparty</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>true</enabled>

                     </snapshots>

              </repository>

             

              <repository>

                     <id>nexus-osc</id>

                     <name>Nexus osc</name>

                     <url>http://maven.oschina.net/content/groups/public/</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>true</enabled>

                     </snapshots>

              </repository>

             

              <repository>

                     <id>osc_thirdparty</id>

                     <mirrorOf>thirdparty</mirrorOf>

                     <url>http://maven.oschina.net/content/repositories/thirdparty/</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>true</enabled>

                     </snapshots>

              </repository>

      </repositories>

        

      <pluginRepositories>

              <pluginRepository>

                     <id>nexus</id>

                     <name>local private nexus</name>

                     <url>http://192.168.50.213:8081/nexus/content/groups/public</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>false</enabled>

                     </snapshots>

              </pluginRepository>

             

              <pluginRepository>

                     <id>nexus-osc</id>

                     <name>local private nexus</name>

                     <url>http://maven.oschina.net/content/groups/public/</url>

                     <releases>

                            <enabled>true</enabled>

                     </releases>

                     <snapshots>

                            <enabled>false</enabled>

                     </snapshots>

              </pluginRepository>

      </pluginRepositories>

       </profile>

      

       <activeProfiles> 

              <activeProfile>nexus</activeProfile> 

       </activeProfiles> 

  </profiles>

</settings>

4.3、安装probuf

下载列表:https://github.com/google/protobuf/tags

下载地址(2.5.0版本)      https://s3.amazonaws.com/github-cloud/releases/23357588/09f5cfca-d24e-11e4-9840-20d894b9ee09.gz?response-content-disposition=attachment%3B%20filename%3Dprotobuf-2.5.0.tar.gz&response-content-type=application/octet-stream&AWSAccessKeyId=AKIAISTNZFOVBIJMK3TQ&Expires=1427785708&Signature=0FSZzyD%2BCgxJqn9dSnZj4tmCKCw%3D

 

       #./configure

       #make

       #make check

#make install

#protoc --version

libprotoc 2.5.0

 

4.4、编译

cd $hadoop_src_home/

mvn package -Pdist,native -DskipTests -Dtar

#编译时间可能持续20分钟左右,最终显示BUILD SUCCESS说明编译成功,可以开始部署了。

4.4、编译常见异常

  • 1、protobuf版本与hadoop源码依赖版本不一致。

hadoop-2.5.0必须使用protobuf-2.5.0

  • 2、Maven编译找不到依赖jarplugin,远程仓库设置不正确,导致maven无法下载jar文件。

把有效远程仓库地址加入mavensettings.xml

国内稳定私服:os-china(开源中国)

国外稳定私服:maven中央仓库(有可能因为网络地址被屏蔽无法下载,可以使用代理访问或改用国内私服)

建议搭建公司内部私服(sonatype-nexus),具体部署方案请网络搜索


© 著作权归作者所有

共有 人打赏支持
ifree613

ifree613

粉丝 27
博文 27
码字总数 44789
作品 0
成都
高级程序员
如何查看Hadoop是32位还是64位

hadoop在安装的时候,我们需要知道hadoop版本是32位还是64位。 hadoop官网本来提供的都是32位,因为我们大部分都是64位操作系统,所以不得不编译。后来官网从hadoop2.5版本开始就提供了64位。...

pmos
2016/04/21
349
0
YARN加载本地库Unable to load native-hadoop library解决办法

用官方的构建好的Hadoop 2.4.0(133MB)安装后,每次输入hadoop命令进去都会得到这样一个Warning,如图: WARN util.NativeCodeLoader: Unable to load native-hadoop library for your plat...

摆渡者
2014/05/28
0
0
Hadoop fuse_dfs编译与安装

Fuse-dfs可以将HDFS文件系统mount到本地,用于执行一些ls等基本的系统操作命令。Fuse-dfs位于$HADOOP_HOME/src/contrib/fuse-dfs目录下,需要用户进行编译。现将其编译步骤总结如下: 1.安装...

sdzzboy
2013/10/16
0
0
从零开始的 Win7 64Bit 编译Hadoop3

前言 最近在接触Hadoop方面的知识。去官网逛了一圈发现最新版本已经是3.0.0-alpha1了。刚好在搭建Hadoop的环境,就决定使用最新版本的Hadoop试试水。因为自己使用的机器是windows的,逛了一圈...

Alex_Nine
2016/11/02
474
0
centos 64位 hadoop编译

如果安装的centos是64位机,hadoop官网给出的源码是32位的,直接运行的话,会出现下面的信息: Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /usr/local/hadoop-2.2...

kt431128
2014/06/04
0
0
Hadoop的本地库(Native Libraries)及相关问题总结

主体转自:http://blog.sina.com.cn/s/blog3d9e90ad0102wqrp.html (未亲测,我的getconf LONGBIT返回32,且file libhadoop.so.1.0.0返回64,与之相反) Hadoop的本地库(Native Libraries)...

u013303361
04/23
0
0
centos6.4 32/64位机 hadoop2.2.0集群安装

1、准备环境 安装VMware10 ,三台centos6.4 版本,安装在VMware虚拟机下。 1)安装中文输入法: 1、需要root权限,所以要用root登录 ,或su root 2、yum install "@Chinese Support" 2)安装...

kt431128
2014/06/03
0
17
Hadoop “Unable to load native-hadoop library for y

http://devsolvd.com/questions/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos The answer depends... I just installed Hadoop 2.6 from tarball on 64-......

66号公路
2015/10/12
388
0
Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException

运行mapreduce程序时出现错误Exception from container-launch: org.apache.hadoop.util.Shell$ExitCodeException,运行环境ubuntu12.04 64bit, hadoop2.2.0 64bit,eclipse luna 4.4.1, 具体......

mackaywang
2015/01/10
2.5K
2
centos7 yum安装java运行环境,初识hadoop

安装java运行环境 1.实验机相关信息: [root@node2 ~]# cat /etc/redhat-release CentOS Linux release 7.2.1511 (Core) [root@node2 ~]# uname -r 3.10.0-327.el7.x86_6 2.配置epel源,以y......

smile68
04/21
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring配置xml启动报错 Connot find 'beans'

1.我们先看一下spring的原始配置 <?xml version="1.0" encoding="UTF-8"?><beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSc......

江湖鱼大虾
3分钟前
0
0
与女儿谈商业模式 (4):戴尔的成功秘诀

分类:与女儿谈商业模式 | 标签: 戴尔 经济学 陈志武 2007-05-15 10:26阅读(7434)评论(36)   2007年5月《创富志》与“女儿谈商业模式”专栏 (之四)   戴尔的成功秘诀   陈志武   ...

祖冲之
12分钟前
0
0
www.w3.org被qiang导致logback报错:Connect reset

web项目部署到tomcat后,web项目中的logback不能运行,报错信息如下: Reported exception: ch.qos.logback.core.joran.spi.JoranException: I/O error occurred while parsing xml file......

浮躁的码农
26分钟前
0
0
JDeveloper中文乱码解决

全局设置字体; 全局设置环境编码; 项目设置编译器环境编码。

wffger
54分钟前
2
0
MySQL主从介绍 , 准备工作,配置主,配置从, 测试主从同步

MySQL主从介绍 MySQL主从又叫做Replication、AB复制。简单讲就是A和B两台机器做主从后,在A上写数据,另外一台B也会跟着写数据,两者数据实时同步的 MySQL主从是基于binlog的,主上须开启bin...

TaoXu
今天
2
0
线性代数学习总结

亭子happy
今天
1
0
Java8:Lambda表达式增强版Comparator和排序

1、概述 在这篇教程里,我们将要去了解下即将到来的JDK 8(译注,现在JDK 8已经发布了)中的Lambda表达式——特别是怎样使用它来编写Comparator和对集合(Collection)进行排序。 这篇文章是...

孟飞阳
今天
0
0
从架构到组件,深挖istio如何连接、管理和保护微服务2.0?

近几年我一直从事于微服务系统的设计以及实现方面的工作,属于微服务架构一线实践者。之前做过一些单体系统的微服务改造,在微服务拆分、治理等方面都有一定的经验。 本人比较特殊一点的经历...

xiaomin0322
今天
1
0
基于vue的h5文件切片上传(获取文件md5,实现秒传、进度条实现)

template <button @click="file"></button><label ref="upload" style="position: relative;"> <input type="file" @change="selectFile" style="position: abs......

hkaikai
今天
2
0
Spring Boot 2.0 项目实现自同步AD域账号

在通过Spring Boot的自动化装配功能及JDK自带的LDAP模块,可通过如下几个简单步骤实现业务系统自动同步AD域账号功能。 1. Java自带ldap搜索域账号信息核心代码: try { LdapContext ctx...

B超
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部