文档章节

Hadoop 2.7.1的源码编译

openthings
 openthings
发布于 2015/12/17 11:06
字数 348
阅读 283
收藏 2

Compile Hadoop from Source

Compile Hadoop from Source

Compile Hadoop 2.x help you fix error Unable to load native-hadoop library

  1. Install Requirements

    • Java Oracle: otherwise, while maven build you may be occur exception below if not using java oracle

      Failed to execute goal on project hadoop-annotations: Could not resolve dependencies for project org.apache.hadoop:hadoop-annotations:jar:2.7.1: Could not find artifact jdk.tools:jdk.tools:jar:1.7 at specified path /usr/lib/jvm/java-1.7.0-openjdk-1.7.0.85.x86_64/jre/../lib/tools.jar
    • Maven, libssl-dev, zlib-development, cmake

    • Protocol Buffers: Version must be v2.5.0, otherwise while maven build you can occur exception below

      Failed to execute goal org.apache.hadoop:hadoop-maven-plugins:2.7.1:protoc (compile-protoc) on project hadoop-common: org.apache.maven.plugin.MojoExecutionException: protoc version is 'libprotoc 2.6.1', expected version is '2.5.0'
      wget https://github.com/google/protobuf/releases/download/v2.5.0/protobuf-2.5.0.tar.gz tar -xzf protobuf-2.5.0.tar.gz cd protobuf-2.5.0 ./configure make make check make install protoc --version

      While install Protocol Buffers, if you occur exception below, this mean you using old gcc version

      error: uninitialized member 'google::protobuf::util::converter::DataPiece::

      Upgrade gcc

      cd /etc/yum.repos.d wget http://people.centos.org/tru/devtools-2/devtools-2.repo yum --enablerepo=testing-devtools-2-centos-6 install devtoolset-2-gcc devtoolset-2-gcc-c++ # export CC=/opt/rh/devtoolset-2/root/usr/bin/gcc # export CPP=/opt/rh/devtoolset-2/root/usr/bin/cpp # export CXX=/opt/rh/devtoolset-2/root/usr/bin/c++ # gcc --version # still old version, but CC, CPP, CXX used in protobuf build ln -s /opt/rh/devtoolset-2/root/usr/bin/* /usr/local/bin/ hash -r gcc --version

      While install Protocol Buffers, if you occur exception below, this mean you using old binutils version

      error: uninitialized member 'google::protobuf::util::converter::DataPiece::

      Upgrade binutils

      yum --enablerepo=testing-devtools-2-centos-6 install devtoolset-2-binutils ln -s /opt/rh/devtoolset-2/root/usr/bin/as /usr/local/bin/as hash -r as --version
  2. Download Hadoop Source

    wget http://mirrors.maychuviet.vn/apache/hadoop/common/hadoop-2.7.1/hadoop-2.7.1-src.tar.gz tar -xzf hadoop-2.7.1-src.tar.gz
  3. Compile Hadoop from Source

    cd hadoop-2.7.1-src mvn package -Pdist,native -DskipTests -Dtar


本文转载自:http://codetips.coloza.com/compile-hadoop-from-source/

上一篇: Hadoop安装与配置
下一篇: Spark的源码编译
openthings
粉丝 325
博文 1140
码字总数 689435
作品 1
东城
架构师
私信 提问
centos搭建hadoop2

第二篇隔了这么久,一个是因为有工作任务,第二个也是因为为了编译64位的hadoop2.7.1耽误了。到现在也不确定64位系统到底需不需要自己编译hadoop2,反正我编译了才安装成功的。 首先:先介绍...

任杰LL
2016/04/19
89
0
linux centos 安装编译hadoop2.7.1

因为Apache hadoop 只提供了32位的包,所以需要自己编译64位的包,下面是编译步骤 所需要的包 1:apache-ant-1.9.7-bin.tar.gz(http://mirrors.tuna.tsinghua.edu.cn/apache//ant/binaries/...

不正常的物种
2016/09/12
536
0
CentOS7中编译Hadoop2.x

环境 VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1 1、关于Hadoop本地库 1.1、可能存在的问题 Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本,自带的本地...

悟空太多啦
2015/08/03
697
0
hadoop2.7环境的编译安装

0.环境说明 编译所用的操作系统为: [root@host11 hadoop-2.7.1-src]# cat /etc/redhat-release CentOS release 6.5 (Final) hadoop的版本为2.7.1 1.安装依赖软件包 yum install svn autoconf......

openthings
2015/12/17
209
2
win10 spark+scala+eclipse+sbt 安装配置

转载请务必注明原创地址为:https://dongkelun.com/2018/03/15/winSparkConf/ 1、首先安装配置jdk1.8以上,建议全部的安装路径不要有空格 2、安装spark 2.1 下载 下载地址:http://spark.apac...

董可伦
2018/05/20
0
0

没有更多内容

加载失败,请刷新页面

加载更多

分页查询

一、配置 /*** @author beth* @data 2019-10-14 20:01*/@Configurationpublic class MybatisPlusConfig { @Bean public PaginationInterceptor paginationInterceptor(){ ......

一个yuanbeth
昨天
5
0
在LINQPad中使用Ignite.NET

LINQPad是进行.NET开发的一款优秀工具,非常有利于Ignite.NET API的快速入门。 入门 下载LINQPad:linqpad.net/Download.aspx,注意要选择64位操作系统的AnyCPU版本; 安装Ignite.NET的NuGet...

李玉珏
昨天
6
0
JS其他类型值转化为Boolean类型规则

本文转载于:专业的前端网站➤JS其他类型值转化为Boolean类型规则 由于最近在笔试的时候,发现好多关于其他类型转化为Boolean类型的题目,因此总结一下! 一、String类型转化为Boolean 1.转化...

前端老手
昨天
6
0
EurekaClient自动装配及启动流程解析

在上篇文章中,我们简单介绍了EurekaServer自动装配及启动流程解析,本篇文章则继续研究EurekaClient的相关代码 老规矩,先看spring.factories文件,其中引入了一个配置类EurekaDiscoveryClie...

Java学习录
昨天
10
0
析构函数是否必须为虚函数?为何?

p517 在C++中,基类指针可以指向一个派生类的对象。如果基类的析构函数不是虚函数,当需要delete这个指向派生类的基类指针时,就只会调用基类的析构函数,而派生类的析构函数无法被调用。容易...

天王盖地虎626
昨天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部