文档章节

Linux 内网编译 hadoop-2.5.0

清风_
 清风_
发布于 2016/12/09 16:47
字数 265
阅读 148
收藏 2
点赞 0
评论 0

1.环境

CentOS release 6.5 (Final) x86_64
java version "1.7.0_79" 
hadoop-2.5.0-src.tar.gz
apache-maven-3.3.9
protobuf-2.5.0

2.配置yum

yum代理配置:/etc/yum.conf

proxy=http://user1:userpass1@10.204.14.44:8090
yum -y install svn ncurses-devel gcc*                                             
yum -y install lzo-devel zlib-devel autoconf automake libtool cmake openssl–devel

3.配置Maven

3.1环境变量/etc/profile

export MAVEN_HOME=/opt/apache-maven-3.3.9
export PATH=$PATH:$MAVEN_HOME/bin

3.2内网Maven代理$MAVEN_HOME/conf/setting.xml

<proxy>
    <id>myProxy</id>
    <active>true</active>
    <protocol>http</protocol>
    <host>10.204.14.44</host>
    <port>8090</port>
    <username>user1</username>
    <password>userpass1</password>
    <nonProxyHosts></nonProxyHosts>
</proxy>

3.3配置Maven中央仓库

<mirror>  
  <id>alimaven</id>  
  <name>aliyun maven</name>  
  <url>http://maven.aliyun.com/nexus/content/groups/public/</url>  
  <mirrorOf>central</mirrorOf>          
</mirror>

4.安装protobuf

链接: https://pan.baidu.com/s/1pL2e6jp 密码: hybu

cd protobuf-2.5.0
./configure
make && make install

5.编译 hadoop-2.5.0-src

链接: https://archive.apache.org/dist/hadoop/common/hadoop-2.5.0/hadoop-2.5.0-src.tar.gz

cd hadoop-2.5.0-src
mvn package -Pdist,native -DskipTests -Dtar

6.错误处理

6.1配置Ant代理.相应错误的pom.xml的target下增加代理

<target name="proxy" >
    <setproxy
        proxyhost="10.204.14.44"
        proxyport="8090"
        proxyuser="user1"
        proxypassword="userpass1"
    />
</target>

6.2Could NOT find OpenSSL, try to set the path to OpenSSL root folder 

export OPENSSL_ROOT_DIR=/usr/local/Cellar/openssl/1.0.2j
export OPENSSL_INCLUDE_DIR=/usr/local/Cellar/openssl/1.0.2j/include/openssl
export OPENSSL_LIBRARIES=/usr/local/Cellar/openssl/1.0.2j/lib

 

© 著作权归作者所有

共有 人打赏支持
清风_

清风_

粉丝 31
博文 38
码字总数 23170
作品 1
沈阳
程序员
hadoop2.6.4 安装和编译

hadoop集群搭建 tools: SecureCRT8.0 VMware12 RHEL 6.6 x64 网络规划: hadoop0 192.168.248.150 hadoop1 192.168.248.151 hadoop2 192.168.248.152 hadoop3 192.168.248.153 设置静态ip:......

lizer2016 ⋅ 2016/07/26 ⋅ 0

CentOS7编译Hadoop-2.7.2详解

先说明,32位Linux操作系统可以直接下载编译好的Hadoop使用,但是64位Linux操作系统需要自己编译。 后来官网从hadoop2.5版本开始就提供了64位。可以直接下载使用。 不过自己动手,丰衣足食,...

pmos ⋅ 2016/04/21 ⋅ 0

linux 编译hadoop 源码

因为官方提供的hadoop下载包是32位的,所以64要自己手动编译 安装jdk(1.7+),maven(3.0 or later) 的教程就掠过了。hadoop编译要求很好,所以要遵循官方文档里说的版本 安装findbugs 版本...

kongjun ⋅ 2016/02/23 ⋅ 0

CentOS7下编译Hadoop-2.7.3全过程详解

1.工具准备,最靠谱的是hadoop说明文档里要求具备的那些工具。 到hadoop官网,点击source下载hadoop-2.7.3-src.tar.gz。 解压之 tar -zxvf hadoop-2.7.3-src.tar.gz 得到hadoop-2.7.3-src文件...

楠木楠 ⋅ 2016/08/28 ⋅ 0

Hadoop2.7.1单机版安装教程

访问hadoop官网下载hadoop-2.7.1-src.tar.gz tar -zxvf hadoop-2.7.1-src.tar.gzcd hadoop-2.7.1-srcvi BUILDING.txt Requirements: * Unix System* JDK 1.7+* Maven 3.0 or later* Findbugs......

ordinance ⋅ 2015/10/26 ⋅ 0

hadoop-2.6.4集群编译搭建-阿里云和腾讯云

腾讯云阿里云 hadoop集群编译搭建 环境准备 阿里云配置: 腾讯云配置: 创建用户 useradd hadoop passwd haddop jdk1.7安装: 下载:http://www.oracle.com/technetwork/java/javase/downloa...

lizer2016 ⋅ 2016/07/31 ⋅ 0

WARN util.NativeCodeLoader: 编译hadoop2.5

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable put: `./in': No such file or directory 原因查找......

天下杰论 ⋅ 2014/08/25 ⋅ 0

mac 安装protobuf 2.5.0

1.下载安装包 目前protobuf的最新版本是3.5.0,但是hadoop等好多框架依然依赖的是2.5.0,因此,最好不要安装最新的。现在官网已经没有下载链接,下面这个是我很久之前搭建环境时保存下来的。...

土木匠 ⋅ 2017/12/03 ⋅ 0

CentOS7中编译Hadoop2.x

环境 VirtualBox-5.0, CentOS-7.1, Hadoop-2.7.1 1、关于Hadoop本地库 1.1、可能存在的问题 Hadoop发行包自带的库文件可能与本地操作系统不兼容。特别是在Hadoop-2.5.1之前的版本,自带的本地...

悟空太多啦 ⋅ 2015/08/03 ⋅ 0

ubuntu下配置hadoop的状态监控页面

一、配置Hadoop $ cd /usr/local/hadoop/etc/hadoop $ vim core-site.xml 将下面的内容复制到 <configuration> 标签内 <property><name>fs.default.name</name><value>hdfs://localhost:9000......

孟飞阳 ⋅ 2016/06/25 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

SpringCloud 微服务 (六) 服务通信 RestTemplate

壹 通信的方式主要有两种,Http 和 RPC SpringCloud使用的是Http方式通信, Dubbo的通信方式是RPC 记录学习SpringCloud的restful方式: RestTemplate (本篇)、Feign 贰 RestTemplate 类似 Http...

___大侠 ⋅ 6分钟前 ⋅ 0

React创建组件的三种方式

1.无状态函数式组建 无状态函数式组件,也就是你无法使用State,也无法使用组件的生命周期方法,这就决定了函数组件都是展示性组件,接收Props,渲染DOM,而不关注其他逻辑。 无状态函数式组...

kimyeongnam ⋅ 13分钟前 ⋅ 0

react 判断实例类型

今天在写组件的时候想通过判断内部子元素不同而在父元素上应用不同的class,于是首先要解决的就是如何判断子元素的类型。 这里附上一个讲的很全面的文章: https://www.cnblogs.com/onepixel...

球球 ⋅ 20分钟前 ⋅ 0

Centos7备份数据到百度网盘

一、关于 有时候我们需要进行数据备份,如果能自动将数据备份到百度网盘,那将会非常方便。百度网盘有较大的存储空间,而且不怕数据丢失,安全可靠。下面简单的总结一下如何使用 bypy 实现百...

zctzl ⋅ 34分钟前 ⋅ 0

开启远程SSH

SSH默认没有开启账号密码登陆,需要再配置表中修改: vim /etc/ssh/sshd_configPermitRootLogin yes #是否可以使用root账户登陆PasswordAuthentication yes #是都开启密码登陆ser...

Kefy ⋅ 36分钟前 ⋅ 0

Zookeeper3.4.11+Hadoop2.7.6+Hbase2.0.0搭建分布式集群

有段时间没更新博客了,趁着最近有点时间,来完成之前关于集群部署方面的知识。今天主要讲一讲Zookeeper+Hadoop+Hbase分布式集群的搭建,在我前几篇的集群搭建的博客中已经分别讲过了Zookeep...

海岸线的曙光 ⋅ 44分钟前 ⋅ 0

js保留两位小数方法总结

本文是小编针对js保留两位小数这个大家经常遇到的经典问题整理了在各种情况下的函数写法以及遇到问题的分析,以下是全部内容: 一、我们首先从经典的“四舍五入”算法讲起 1、四舍五入的情况...

孟飞阳 ⋅ 今天 ⋅ 0

python log

python log 处理方式 log_demo.py: 日志代码。 #! /usr/bin/env python# -*- coding: utf-8 -*-# __author__ = "Q1mi""""logging配置"""import osimport logging.config# 定义三种......

inidcard ⋅ 今天 ⋅ 0

mysql 中的信息数据库以及 shell 查询 sql

Information_schema 是 MySQL 自带的信息数据库,里面的“表”保存着服务器当前的实时信息。它提供了访问数据库元数据的方式。 什么是元数据呢?元数据是关于数据的数据,如数据库名或表名,...

blackfoxya ⋅ 今天 ⋅ 0

maven配置阿里云镜像享受飞的感觉

1.在maven目录下的conf/setting.xml中找到mirrors添加如下内容,对所有使用改maven打包的项目生效。 <mirror> <id>alimaven</id> <name>aliyun maven</name> <url>http://maven.al......

kalnkaya ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部