文档章节

Hadoop2.7.3编译安装

杰仪
 杰仪
发布于 2017/07/29 14:58
字数 311
阅读 9
收藏 0

 

#准备3台centos7电脑。并配置无密码登录

1.安装java1.8.144

2.编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

3.安装protobuf

下载protobuf-2.5.0,不能用高版本,否则Hadoop编译不能通过
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

tar xvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure 
make
make install
ldconfig

protoc --version

4.安装maven

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
tar -zxvf apache-maven-3.5.0-bin.tar.gz

vi /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.5.0
export PATH=$PATH:$MAVEN_HOME/bin

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

5.下载hadoop2.7.3,编译

tar -zxvf hadoop-2.7.3-src.tar.gz
mvn package -DskipTests -Pdist,native -Dtar

6.

vi etc/hadoop/core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hbase1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/mnt/hadoop/hdfs/tmp</value>
</property>
</configuration>
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/mnt/hadoop/hdfs/name,/opt/namenode_bak</value>
   	<description></description>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/mnt/hadoop/hdfs/data</value>
	<description></description>
</property>

<property>
	<name>dfs.http.address</name>
	<value>hbase1:50070</value>
	<description>
		The address and the base port where the dfs namenode web ui will listen on.
		If the port is 0 then the server will start on a free port.
	</description>
</property>
   
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>storm1:50090</value>                                 
</property>

</configuration>
vi slaves

格式 namenode

hadoop namenode -format

 

© 著作权归作者所有

共有 人打赏支持
杰仪
粉丝 1
博文 42
码字总数 8537
作品 0
成都
【Hadoop】最新版本Apache Flume 1.7实践(未完结,待定)

缘起: 既然hadoop用了,然后由于项目目前不是分布式,而是集群环境,导致业务日志每次都需要batch来移,然后再通过hadoop进行分析。 既然如此,不如上一个分布式flume来配合现成的HDFS进行处...

lsttoy
2017/01/09
0
0
002 centos 安装hadoop

安装hadoop 安装jdk 下载jdk*.tar.gz tar开 //习惯放到 /soft 目录下 $>tar -xzvf jdk.tar.gz 创建快捷方式 (以后修改版本重新指定快捷方式就可以,不需要重新配置环境变量 ln -s /soft/jdk-...

lwbldy
2017/11/05
0
0
Hadoop安装(Hadoop2.7.3)

在Ubantu14.04上部署Hadoop2.7.3 伪分布式集群 01.安装Ubantu14.04(过程略) 02.安装JDK1.8 01)下载JDK1.8,将jdk-8u131-linux-x64.tar.gz上传至ubantu中 02)在根目录下创建soft文件夹,并改变...

小马Ha
2017/07/08
0
0
安装Hadoop2.7.3

1.解压并移动到相应目录,我习惯将软件放到/opt目录下,命令如下: tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt 2.修改/etc/profile 3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh...

迟连成
2017/05/10
0
0
搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)

一、准备工作: 操作系统:Linux(CentOS 7.0) 下载 Java(jdk-8u111-linux-x64.rpm) Hive2.1.1(apache-hive-2.1.1-bin.tar.gz jdk-8u111-linux-x64.rpm) Hadoop2.7.3(hadoop-2.7.3.tar.gz) 下......

roy_88
2017/02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

70.shell的函数 数组 告警系统需求分析

20.16/20.17 shell中的函数 20.18 shell中的数组 20.19 告警系统需求分析 20.16/20.17 shell中的函数: ~1. 函数就是把一段代码整理到了一个小单元中,并给这个小单元起一个名字,当用到这段...

王鑫linux
今天
2
0
分布式框架spring-session实现session一致性使用问题

前言:项目中使用到spring-session来缓存用户信息,保证服务之间session一致性,但是获取session信息为什么不能再服务层获取? 一、spring-session实现session一致性方式 用户每一次请求都会...

WALK_MAN
今天
5
0
C++ yield()与sleep_for()

C++11 标准库提供了yield()和sleep_for()两个方法。 (1)std::this_thread::yield(): 线程调用该方法时,主动让出CPU,并且不参与CPU的本次调度,从而让其他线程有机会运行。在后续的调度周...

yepanl
今天
4
0
Java并发编程实战(chapter_3)(线程池ThreadPoolExecutor源码分析)

这个系列一直没再写,很多原因,中间经历了换工作,熟悉项目,熟悉新团队等等一系列的事情。并发课题对于Java来说是一个又重要又难的一大块,除非气定神闲、精力满满,否则我本身是不敢随便写...

心中的理想乡
今天
33
0
shell学习之获取用户的输入命令read

在运行脚本的时候,命令行参数是可以传入参数,还有就是在脚本运行过程中需要用户输入参数,比如你想要在脚本运行时问个问题,并等待运行脚本的人来回答。bash shell为此提 供了read命令。 ...

woshixin
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部