文档章节

Hadoop-cluster 集群完全分布式环境搭建

秦琼
 秦琼
发布于 2017/04/26 16:13
字数 673
阅读 32
收藏 0

安装准备

    1) 3台centOS7.0系统 ecs

    2) 2.8.0 hadoop 安装包

准备工作

    首先 在ip_01主机上将/etc/hosts文件进行ip映射

127.0.0.1 localhost
ip_01 NN #名称节点
ip_02 DN01 #数据节点01
ip_03 DN02 #数据节点02

     使用scp命令将ip_01上的 hosts文件 复制到其它节点

scp -r /etc/hosts root@DN01:/etc/
scp -r /etc/hosts root@DN02:/etc/

⚠️ 最好在覆盖之前进行备份操作

mv /etc/hosts /etc/hosts_back

 

    其次 配置ssh免密连接,执行以下命令,回车在~/.ssh/目录下生成id_rsaid_rsa.pub两个文件

ssh-keygen -t rsa -P ''

  将id_rsa.pub文件分别拷贝到ip_02, ip_03的~/.ssh目录下

scp id_rsa.pub root@ip02:~/.ssh/
scp id_rsa.pub root@ip03:~/.ssh/

  在ip02和ip03的~/.ssh目录下 将id_rsa.pub文件内容写入authorized_keys文件中,没有此文件就新建此文件写入

cat id_rsa.pub >> authorized_keys

操作完成,则完成了ssh从ip_01到ip_02和ip_03的免密登录操作。

 

集群配置

    配置环境变量:

#在/etc/profile 文件末尾新增hadoop命令目录
#注意此路径为真实安装绝对路径
PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
export PATH

    hadoop集群配置需配置其中三个文件core-site.xml;hdfs-site.xml; yarn-site.xml,三个文件存在于hadoop/etc/hadoop/目录中。

<!-- core-site.xml -->
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>

    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://NN</value>
    </property>
</configuration>
<!-- hdfs-site.xml -->
<configuration>
    <property>
         <name>dfs.replication</name>
         <!-- 2台数据节点 -->
         <value>2</value>
    </property>

    <property>
         <name>dfs.namenode.name.dir</name>
         <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>

    <property>
         <name>dfs.datanode.data.dir</name>
         <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>
<!-- yarn-site.xml -->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

在slaves文件中进行配置数据节点地址

DN01
DN02

SecondaryNameNode未配置ecs,默认在ip_01名称节点上。

修改文件hadoop-env.sh

JAVA_HOME=${JAVA_HOME}

修改为:

#此路径为本机JDK安装目录的绝对目录
JAVA_HOME=/usr/local/JDK

启动集群:

  格式化集群环境

hadoop nodename -formate

  启动集群

#进入sbin目录
cd /usr/local/hadoop/sbin
#执行启动命令
./start-all.sh

检测是否启动成功

#jps命令 可查看已启动的java程序
jps

附:如果在启动过程中报一下错误

java.net.UnknownHostException:xxxx xxxx

此错误意味着hostname映射未生效

快速解决办法是执行hostname 命令

#例如本文中所列举的 ip_01-->NN ip_02-->DN01 ip_03-->DN02需各自执行
hostname NN
hostname DN01
hostname DN02

 

© 著作权归作者所有

秦琼
粉丝 3
博文 14
码字总数 5837
作品 0
杭州
架构师
私信 提问
Hadoop2.7.4+Spark2.2.0滴滴云分布式集群搭建过程

1.在滴滴云申请三台服务器(CentOS系统64位7.3) 2.修改hosts文件 修改三台服务器的hosts文件,vim /etc/hosts(需要权限加上sudo vim /etc/hosts),在原文件的基础最后面加上: 修改完成后保存...

14142135623731
2018/06/24
0
0
超详细hadoop发行版安装教程(附图文步骤)

在前几篇的文章中分别就虚拟系统安装、LINUX系统安装以及hadoop运行服务器的设置等内容写了详细的操作教程,本篇分享的是hadoop的下载安装步骤。在此之前有必要做一个简单的说明:分享的所有...

左手的倒影
2018/08/03
66
0
大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶
2018/05/05
0
0
hadoop 完全分布式环境搭建

实验环境 安装步骤 1.安装jdk jdk的安装过程此处不赘述,不熟悉的话可以参考网上的资料。 2.修改主机映射并配置ssh免密码登录 为了方便配置信息的维护,我们在hadoop配置文件中使用主机名来标...

cl2010abc
2018/05/29
0
0
Hadoop(2015/8/19最新发行版2.7.1): 搭建一个单节点集群。官方文档翻译

根据官方文档边操作边翻译,如有谬误欢迎拍砖指正!大家一起学习。也欢迎推荐更多有用学习文档给我,谢谢! Hadoop: 搭建一个单节点集群。 Hadoop: 搭建一个单节点集群。 目的 先决条件 操作...

duty
2015/08/19
753
0

没有更多内容

加载失败,请刷新页面

加载更多

Java FOR-EACH循环

FOR-EACH循环使得代码更加的简短,也让代码更加易懂,其实他并没有加入什么新的功能。他的功能完全可以用简单的FOR循环代替。 for-each的用法: int a[] = {1,2,3,4,5,6} for(int s:a){ Syst...

无名氏的程序员
22分钟前
3
0
使用HTML5的History API

本文转载于:专业的前端网站➣使用HTML5的History API   HTML5 History API提供了一种功能,能让开发人员在不刷新整个页面的情况下修改站点的URL。这个功能很有用,例如通过一段JavaScript代...

前端老手
25分钟前
4
0
JAVA 编写redisUtils工具类,防止高并发获取缓存出现并发问题

import lombok.extern.slf4j.Slf4j;import org.springframework.data.redis.core.BoundHashOperations;import org.springframework.data.redis.core.BoundValueOperations;import org.......

huangkejie
今天
7
0
JMM内存模型(一)&volatile关键字的可见性

在说这个之前,我想先说一下计算机的内存模型: CPU在执行的时候,肯定要有数据,而数据在内存中放着呢,这里的内存就是计算机的物理内存,刚开始还好,但是随着技术的发展,CPU处理的速度越...

走向人生巅峰的大路
今天
99
0
你对AJAX认知有多少(2)?

接着昨日内容,我们几天继续探讨ajax的相关知识点 提到ajax下面几个问题又是必须要了解的啦~~~ 8、在浏览器端如何得到服务器端响应的XML数据。 通过XMLHttpRequest对象的responseXMl属性 9、 ...

理性思考
今天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部