文档章节

Hadoop2.7.3编译安装

杰仪
 杰仪
发布于 2017/07/29 14:58
字数 311
阅读 11
收藏 0

 

#准备3台centos7电脑。并配置无密码登录

1.安装java1.8.144

2.编译环境

yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst

3.安装protobuf

下载protobuf-2.5.0,不能用高版本,否则Hadoop编译不能通过
wget https://protobuf.googlecode.com/files/protobuf-2.5.0.tar.gz

tar xvf protobuf-2.5.0.tar.gz
cd protobuf-2.5.0
./configure 
make
make install
ldconfig

protoc --version

4.安装maven

wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.0/binaries/apache-maven-3.5.0-bin.tar.gz
tar -zxvf apache-maven-3.5.0-bin.tar.gz

vi /etc/profile
export MAVEN_HOME=/opt/apache-maven-3.5.0
export PATH=$PATH:$MAVEN_HOME/bin

在maven的settings.xml 文件里配置mirrors的子节点,添加如下mirror

<mirror>
    <id>nexus-aliyun</id>
    <mirrorOf>*</mirrorOf>
    <name>Nexus aliyun</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public</url>
</mirror>

5.下载hadoop2.7.3,编译

tar -zxvf hadoop-2.7.3-src.tar.gz
mvn package -DskipTests -Pdist,native -Dtar

6.

vi etc/hadoop/core-site.xml
<configuration>
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://hbase1:9000</value>
</property>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/mnt/hadoop/hdfs/tmp</value>
</property>
</configuration>
vi etc/hadoop/hdfs-site.xml
<configuration>
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
	<name>dfs.namenode.name.dir</name>
	<value>/mnt/hadoop/hdfs/name,/opt/namenode_bak</value>
   	<description></description>
</property>

<property>
	<name>dfs.datanode.data.dir</name>
	<value>/mnt/hadoop/hdfs/data</value>
	<description></description>
</property>

<property>
	<name>dfs.http.address</name>
	<value>hbase1:50070</value>
	<description>
		The address and the base port where the dfs namenode web ui will listen on.
		If the port is 0 then the server will start on a free port.
	</description>
</property>
   
<property>
	<name>dfs.webhdfs.enabled</name>
	<value>true</value>
</property>

<property>
<name>dfs.namenode.secondary.http-address</name>
<value>storm1:50090</value>                                 
</property>

</configuration>
vi slaves

格式 namenode

hadoop namenode -format

 

© 著作权归作者所有

共有 人打赏支持
杰仪
粉丝 1
博文 44
码字总数 8776
作品 0
成都
私信 提问
【Hadoop】最新版本Apache Flume 1.7实践(未完结,待定)

缘起: 既然hadoop用了,然后由于项目目前不是分布式,而是集群环境,导致业务日志每次都需要batch来移,然后再通过hadoop进行分析。 既然如此,不如上一个分布式flume来配合现成的HDFS进行处...

lsttoy
2017/01/09
0
0
002 centos 安装hadoop

安装hadoop 安装jdk 下载jdk*.tar.gz tar开 //习惯放到 /soft 目录下 $>tar -xzvf jdk.tar.gz 创建快捷方式 (以后修改版本重新指定快捷方式就可以,不需要重新配置环境变量 ln -s /soft/jdk-...

lwbldy
2017/11/05
0
0
Hadoop安装(Hadoop2.7.3)

在Ubantu14.04上部署Hadoop2.7.3 伪分布式集群 01.安装Ubantu14.04(过程略) 02.安装JDK1.8 01)下载JDK1.8,将jdk-8u131-linux-x64.tar.gz上传至ubantu中 02)在根目录下创建soft文件夹,并改变...

小马Ha
2017/07/08
0
0
安装Hadoop2.7.3

1.解压并移动到相应目录,我习惯将软件放到/opt目录下,命令如下: tar -zxvf hadoop-2.7.3.tar.gz mv hadoop-2.7.3 /opt 2.修改/etc/profile 3.修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh...

迟连成
2017/05/10
0
0
搭建Hadoop2.7.3+Hive2.1.1及MySQL(配置Hadoop)(一)

一、准备工作: 操作系统:Linux(CentOS 7.0) 下载 Java(jdk-8u111-linux-x64.rpm) Hive2.1.1(apache-hive-2.1.1-bin.tar.gz jdk-8u111-linux-x64.rpm) Hadoop2.7.3(hadoop-2.7.3.tar.gz) 下......

roy_88
2017/02/09
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Linux 权限

权限 0 000 --- 无权限 1 001 --x 执行权限 2 010 -w- 写权限 3 011 -wx 写和执行 4 100 r-- 读权限 5 101 r-x 读和执行 6 110 rw- 读和写 7 111 rwx 读写执行 755 : rwxr-xr-x 660 : rw-r...

忙碌的小蜜蜂
10分钟前
0
0
21分钟教会你分析MaxCompute账单

21分钟教会你分析MaxCompute账单 背景 阿里云大计算服务MaxCompute是一款商业化的大数据分析平台,其计算资源有预付费和后付费两种计费方式。并且产品每天按照project为维度进行计量计费(账...

阿里云云栖社区
13分钟前
0
0
Docker使用 linuxserver/letsencrypt 生成SSL证书最全解析及实践

本文使用 HTTP 和 DNS 两种校验方式对 Docker 下 linuxserver/letsencrypt 项目进行了实践。生成SpringBoot可用证书,使用 Nginx 的 htpasswd 来对网站进行密码保护,并测试使用 fail2ban 防...

java菜分享
14分钟前
0
0
代码吃鸡:Python-Robocode

最近看到一个很有“未来感”的新闻: 一辆特斯拉在拉斯维加斯出了车祸,撞“死”了一个……emmmm……机器人。不知道是意外还是炒作,又或者是这位机器人故意碰瓷,反正人们也无法从受害者口中...

crossin
18分钟前
0
0
什么是公网IP、内网IP和NAT转换?

搞网络通信应用开发的程序员,可能会经常听到外网IP(即互联网IP地址)和内网IP(即局域网IP地址),但他们的区别是什么? 1、引言 搞网络通信应用开发的程序员,可能会经常听到外网IP(即互联网I...

Linux就该这么学
28分钟前
0
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部