文档章节

Linux 内网编译 hadoop-2.5.0

清风_
 清风_
发布于 2016/12/09 16:47
字数 265
阅读 159
收藏 2

1.环境

CentOS release 6.5 (Final) x86_64
java version "1.7.0_79" 
hadoop-2.5.0-src.tar.gz
apache-maven-3.3.9
protobuf-2.5.0

2.配置yum

yum代理配置:/etc/yum.conf

proxy=http://user1:userpass1@10.204.14.44:8090
yum -y install svn ncurses-devel gcc*                                             
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl–devel

3.配置Maven

3.1环境变量/etc/profile

export MAVEN_HOME=/opt/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

3.2内网Maven代理$MAVEN_HOME/conf/setting.xml

<proxy>
    <id>myProxy</id>
    <active>true</active>
    <protocol>http</protocol>
    <host>10.204.14.44</host>
    <port>8090</port>
    <username>user1</username>
    <password>userpass1</password>
    <nonProxyHosts></nonProxyHosts>
</proxy>

3.3配置Maven中央仓库

<mirror>  
  <id>alimaven</id>  
  <name>aliyun maven</name>  
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
  <mirrorOf>central</mirrorOf>          
</mirror>

4.安装protobuf

链接: https://pan.baidu.com/s/1pL2e6jp 密码: hybu

cd protobuf-2.5.0
./configure
make && make install

5.编译 hadoop-2.5.0-src

链接: https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0-src.tar.gz

cd hadoop-2.5.0-src
mvn package -Pdist,native -DskipTests -Dtar

6.错误处理

6.1配置Ant代理.相应错误的pom.xml的target下增加代理

<target name="proxy" >
    <setproxy
        proxyhost="10.204.14.44"
        proxyport="8090"
        proxyuser="user1"
        proxypassword="userpass1"
    />
</target>

6.2Could NOT find OpenSSL, try to set the path to OpenSSL root folder 

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2j
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2j/include/openssl
export OPENSSL_LIBRARIES=/usr/local/Cellar/openssl/1.0.2j/lib

 

© 著作权归作者所有

共有 人打赏支持
清风_

清风_

粉丝 32
博文 38
码字总数 23287
作品 1
沈阳
程序员
私信 提问
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
CentOS7编译Hadoop-2.7.2详解

先说明,32位Linux操作系统可以直接下载编译好的Hadoop使用,但是64位Linux操作系统需要自己编译。 后来官网从hadoop2.5版本开始就提供了64位。可以直接下载使用。 不过自己动手,丰衣足食,...

pmos
2016/04/21
191
0
linux 编译hadoop 源码

因为官方提供的hadoop下载包是32位的,所以64要自己手动编译 安装jdk(1.7+),maven(3.0 or later) 的教程就掠过了。hadoop编译要求很好,所以要遵循官方文档里说的版本 安装findbugs 版本...

kongjun
2016/02/23
46
0
Hadoop2.7.1单机版安装教程

访问hadoop官网下载hadoop-2.7.1-src.tar.gz tar -zxvf hadoop-2.7.1-src.tar.gzcd hadoop-2.7.1-srcvi BUILDING.txt Requirements: * Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs......

ordinance
2015/10/26
1K
0
CentOS7下编译Hadoop-2.7.3全过程详解

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件...

楠木楠
2016/08/28
131
0

没有更多内容

加载失败,请刷新页面

加载更多

聊聊flink的FsStateBackend

序 本文主要研究一下flink的FsStateBackend StateBackend flink-runtime_2.11-1.7.0-sources.jar!/org/apache/flink/runtime/state/StateBackend.java @PublicEvolvingpublic interface Sta......

go4it
33分钟前
1
0
webpack配置proxyTable时pathRewrite无效的解决方法

webpack配置接口地址代理 在项目开发中,接口联调的时候一般都是同域名下,且不存在跨域的情况下进行接口联调,但是当我们在本地启动服务器后,比如本地开发服务下是 http://localhost:8080 ...

前端小攻略
34分钟前
1
0
安装jenkins

1.下载 wget https://mirrors.tuna.tsinghua.edu.cn/jenkins/war/2.155/jenkins.war 2.后续操作和 dubbo 安装类似: (1)复制一份空白的tomcat,重命名为:jenkins-tomcat (2)war包放入t...

狼王黄师傅
42分钟前
2
0
zookeeper配置与使用

一.登录官网下载 不要带后缀的,那是公侧版本,下稳定版,比如3.4.9 二.安装与使用 解压后bin里是启动程序 配置文件:在conf下 复制zoo_sample.cfg改名为为zoo.cfg,打开zoo修改文件 临时数据保存...

小兵胖胖
今天
4
0
spring源码阅读笔记(一)

ClassPathXmlApplicationContext 与 FileSystemXmlApplicationContext 用了这么久的框架,是时候搞一下源码了,一般最初接触spring 从以下步骤开始 创建一个bean类 并创建 ooxx.xml之类的spr...

NotFound403
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部