文档章节

CentOS 5.6 64位 重编译Hadoop 2.6.0

boydreaming
 boydreaming
发布于 2015/10/31 14:47
字数 364
阅读 15
收藏 0
  1. 采用yum安装 gcc,gcc++,jdk 1.7,cmake.

  2. 下载并tar xvpfz 以下包

    apache-ant-1.9.5-bin.tar.gz

    apache-maven-3.3.3-bin.tar.gz,

    findbugs-2.0.2.tar.gz

    protobuf-2.5.0.tar.gz

    hadoop-2.6.0-src.tar.gz

  3. 配置/etc/profile

    export ANT_HOME=/home/hadoop/apache-ant-1.9.5

    export FINDBUGS_HOME=/home/hadoop/findbugs-2.0.2

    export MAVEN_HOME=/home/hadoop/apache-maven-3.3.3

    export JAVA_HOME=/usr/java/jdk1.7.0_75

    export CLASS_PATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/jre/lib/ext/mysql5.jar

    export HADOOP_PREFIX=/home/hadoop/hadoop-2.6.0

    export PATH=$PATH:$JAVA_HOME/bin:$MAVEN_HOME/bin:$HADOOP_HOME/bin:$ANT_HOME/bin:$FINDBUGS_HOME/bin

    运行source /etc/profile

  4. 编译并安装 protobuf

  5. ./configure


       make;make install;

       ldconfig -v 

  5.  进入hadoop src用mvn编译。

      mvn clean package -DskipTests -Pdist,native -Dtar

      也有加-Pdist,native,doc 打包javadoc的,如果慢可以不用。

      中途出错或断网,重新编译不成功,可以删除rm -fr hadoop.2.6.0-src,重新tar xvpfz,再编译,否则可以反复编译不成功。

  6. 可以直接打编译好的lib拷贝到hadoop-2.6.0.tar.gz翻译出来的lib下,覆盖以使用。具体目录是

     cp /home/hadoop/hadoop-src.2.6.0/hadoop-dist/target/hadoop-2.6.0/lib/native /home/hadoop/hadoop-2.6.0/lib/native

     slave node的服务器上的lib可以不拷。

    通过hadoop 下的start-dfs.sh启动dfs,默认以http://w.x.y.z:50070   查看 dfs运行start-yarn.sh 以http://w.x.y.z:8088 查看 yarn运行,可以会慢些才显示出来、

7. 通过 hdfs dfsadmin -report 检查运行情况,并看看是否还有 Unable to load native-hadoop library for your platform WARNING信息。正常是没有了。



© 著作权归作者所有

boydreaming
粉丝 3
博文 68
码字总数 17343
作品 0
普陀
程序员
私信 提问
hadoop2.6.0 在64位CentOS 6.4系统上的编译

直接使用官网上下载的hadoop2.6.0在运行时候经常都会遇到WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where appl......

霖_柒
2015/12/31
584
0
centos单机安装Hadoop2.6

一,安装环境 硬件:虚拟机 操作系统:Centos 6.4 64位 IP:10.51.121.10 主机名:datanode-4 安装用户:root 二,安装JDK 安装JDK1.6或者以上版本。这里安装jdk1.6.0_45。 下载地址:http:...

x163麦芽糖
2016/11/09
26
0
centos6.5下部署用于生产的hadoop,并使用C语言API连接hadoop

##### ####安装hadoop2.6.0完全分布式集群 ##### ####文件及系统版本: #### hadoop-2.6.0 Java version 1.8.0_77 centos 64位 ####预备 #### 在/home/hadoop/下:mkdir Cloud 把java和hadoo......

clear_path
2018/06/29
0
0
hadoop 伪集群搭建

以前安装过Hadoop几个版本的单机版,主要是为了研究Hadoop源代码,现在想更加深入Hadoop整个生态系统,选择安装Hadoop完全分布式,由于目前Hadoop最新版本为2.6,于是选择这个版本安装使用 ...

MtrS
2016/04/27
14
0
hadoop2.6.0安装配置

注意: 1.有关core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml的配置,参考:hadoop2.x的配置 2.有关hadoop的命令,参考:hadoop2.x的命令 3.先修改一台机器的配置文件,剩余...

cjun1990
2015/03/25
140
0

没有更多内容

加载失败,请刷新页面

加载更多

Spring使用ThreadPoolTaskExecutor自定义线程池及实现异步调用

多线程一直是工作或面试过程中的高频知识点,今天给大家分享一下使用 ThreadPoolTaskExecutor 来自定义线程池和实现异步调用多线程。 一、ThreadPoolTaskExecutor 本文采用 Executors 的工厂...

CREATE_17
今天
5
0
CSS盒子模型

CSS盒子模型 组成: content --> padding --> border --> margin 像现实生活中的快递: 物品 --> 填充物 --> 包装盒 --> 盒子与盒子之间的间距 content :width、height组成的 内容区域 padd......

studywin
今天
7
0
修复Win10下开始菜单、设置等系统软件无法打开的问题

因为各种各样的原因导致系统文件丢失、损坏、被修改,而造成win10的开始菜单、设置等系统软件无法打开的情况,可以尝试如下方法解决 此方法只在部分情况下有效,但值得一试 用Windows键+R打开...

locbytes
昨天
8
0
jquery 添加和删除节点

本文转载于:专业的前端网站➺jquery 添加和删除节点 // 增加一个三和一节点function addPanel() { // var newPanel = $('.my-panel').clone(true) var newPanel = $(".triple-panel-con......

前端老手
昨天
8
0
一、Django基础

一、web框架分类和wsgiref模块使用介绍 web框架的本质 socket服务端 与 浏览器的通信 socket服务端功能划分: 负责与浏览器收发消息(socket通信) --> wsgiref/uWsgi/gunicorn... 根据用户访问...

ZeroBit
昨天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部