文档章节

Linux 内网编译 hadoop-2.5.0

清风_
 清风_
发布于 2016/12/09 16:47
字数 265
阅读 157
收藏 2

1.环境

CentOS release 6.5 (Final) x86_64
java version "1.7.0_79" 
hadoop-2.5.0-src.tar.gz
apache-maven-3.3.9
protobuf-2.5.0

2.配置yum

yum代理配置:/etc/yum.conf

proxy=http://user1:userpass1@10.204.14.44:8090
yum -y install svn ncurses-devel gcc*                                             
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl–devel

3.配置Maven

3.1环境变量/etc/profile

export MAVEN_HOME=/opt/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

3.2内网Maven代理$MAVEN_HOME/conf/setting.xml

<proxy>
    <id>myProxy</id>
    <active>true</active>
    <protocol>http</protocol>
    <host>10.204.14.44</host>
    <port>8090</port>
    <username>user1</username>
    <password>userpass1</password>
    <nonProxyHosts></nonProxyHosts>
</proxy>

3.3配置Maven中央仓库

<mirror>  
  <id>alimaven</id>  
  <name>aliyun maven</name>  
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
  <mirrorOf>central</mirrorOf>          
</mirror>

4.安装protobuf

链接: https://pan.baidu.com/s/1pL2e6jp 密码: hybu

cd protobuf-2.5.0
./configure
make && make install

5.编译 hadoop-2.5.0-src

链接: https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0-src.tar.gz

cd hadoop-2.5.0-src
mvn package -Pdist,native -DskipTests -Dtar

6.错误处理

6.1配置Ant代理.相应错误的pom.xml的target下增加代理

<target name="proxy" >
    <setproxy
        proxyhost="10.204.14.44"
        proxyport="8090"
        proxyuser="user1"
        proxypassword="userpass1"
    />
</target>

6.2Could NOT find OpenSSL, try to set the path to OpenSSL root folder 

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2j
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2j/include/openssl
export OPENSSL_LIBRARIES=/usr/local/Cellar/openssl/1.0.2j/lib

 

© 著作权归作者所有

共有 人打赏支持
清风_

清风_

粉丝 31
博文 38
码字总数 23278
作品 1
沈阳
程序员
CentOS7编译Hadoop-2.7.2详解

先说明,32位Linux操作系统可以直接下载编译好的Hadoop使用,但是64位Linux操作系统需要自己编译。 后来官网从hadoop2.5版本开始就提供了64位。可以直接下载使用。 不过自己动手,丰衣足食,...

pmos
2016/04/21
191
0
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016
2016/07/26
0
0
linux 编译hadoop 源码

因为官方提供的hadoop下载包是32位的,所以64要自己手动编译 安装jdk(1.7+),maven(3.0 or later) 的教程就掠过了。hadoop编译要求很好,所以要遵循官方文档里说的版本 安装findbugs 版本...

kongjun
2016/02/23
46
0
Hadoop2.7.1单机版安装教程

访问hadoop官网下载hadoop-2.7.1-src.tar.gz tar -zxvf hadoop-2.7.1-src.tar.gzcd hadoop-2.7.1-srcvi BUILDING.txt Requirements: * Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs......

ordinance
2015/10/26
1K
0
CentOS7下编译Hadoop-2.7.3全过程详解

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件...

楠木楠
2016/08/28
131
0

没有更多内容

加载失败,请刷新页面

加载更多

可爱的python测试开发库(python测试开发工具库汇总)

欢迎转载,转载请注明来源: github地址 谢谢点赞 本文地址 相关书籍下载 测试开发 Web UI测试自动化 splinter - web UI测试工具,基于selnium封装。 链接 selenium - web UI自动化测试。 链...

python测试开发人工智能安全
今天
2
0
Shiro | 实现权限验证完整版

写在前面的话 提及权限,就会想到安全,是一个十分棘手的话题。这里只是作为学校Shiro的一个记录,而不是,权限就应该这样设计之类的。 Shiro框架 1、Shiro是基于Apache开源的强大灵活的开源...

冯文议
今天
1
0
linux 系统的运行级别

运行级别 运行级别 | 含义 0 关机 1 单用户模式,可以想象为windows 的安全模式,主要用于修复系统 2 不完全的命令模式,不含NFS服务 3 完全的命令行模式,就是标准的字符界面 4 系统保留 5 ...

Linux学习笔记
今天
2
0
学习设计模式——命令模式

任何模式的出现,都是为了解决一些特定的场景的耦合问题,以达到对修改封闭,对扩展开放的效果。命令模式也不例外: 命令模式是为了解决命令的请求者和命令的实现者之间的耦合关系。 解决了这...

江左煤郎
今天
3
0
字典树收集(非线程安全,后续做线程安全改进)

将500W个单词放进一个数据结构进行存储,然后进行快速比对,判断一个单词是不是这个500W单词之中的;来了一个单词前缀,给出500w个单词中有多少个单词是该前缀. 1、这个需求首先需要设计好数据结...

算法之名
昨天
15
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部