文档章节

[虚拟机VM][Ubuntu12.04]搭建Hadoop完全分布式环境(三)(终篇)

javaer
 javaer
发布于 2017/07/25 15:28
字数 891
阅读 37
收藏 0
点赞 0
评论 0

接前两篇,这是最终篇,前面的准备工作都完成了之后,我们开始安装和部署Hadoop

安装和配置Hadoop

hadoop-2.2.0_x64.tar.gz 
链接:http://pan.baidu.com/s/1boSGvrp 密码:559o

hadoop集群中每台机器的配置都基本相同,我们先配置好master,然后复制到slave1slave2

1、下载并解压,并重命名目录为hadoop,移动到/usr目录下去

hadoop@master:~$ tar -zxvf hadoop-2.2.0_x64.tar.gz
hadoop@master:~$ mv hadoop-2.2.0 hadoop

这里写图片描述

hadoop@master:~$ sudo mv ~/hadoop /usr/

2、创建几个关键目录,以备后用:

hadoop@master:~$ mkdir dfs
hadoop@master:~$ mkdir dfs/name
hadoop@master:~$ mkdir dfs/data
hadoop@master:~$ mkdir tmp

这里写图片描述

3、修改配置文件:

~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

3.1 修改hadoop-env.sh,将JAVA_HOME后面填写上自己的JDK路径 
这里写图片描述

3.2 修改yarn-env.sh,将JAVA_HOME后面填写上自己的JDK路径 
这里写图片描述

3.3 修改slaves,填写所有的slave节点 
这里写图片描述

3.4 修改core-site.xml,说明:

  • hdfs://master:8020中的masterhostname,如果你们设置的跟我的不一样请修改
  • file:/home/hadoop/tmp就是刚才第2步设置的目录,如果你们设置的跟我的不一样请修改
  • hadoop.proxyuser.hadoop.hostshadoop.proxyuser.hadoop.groups中的第二个hadoop换成自己的用户名
<configuration>
       <property>
                <name>fs.defaultFS</name>
                <value>hdfs://master:8020</value>
       </property>
       <property>
                <name>io.file.buffer.size</name>
                <value>131072</value>
        </property>
       <property>
               <name>hadoop.tmp.dir</name>
               <value>file:/home/hadoop/tmp</value>
               <description>Abase for other temporary directories.</description>
       </property>
        <property>
               <name>hadoop.proxyuser.hadoop.hosts</name>
               <value>*</value>
       </property>
       <property>
               <name>hadoop.proxyuser.hadoop.groups</name>
               <value>*</value>
       </property>
</configuration>

3.5 修改hdfs-site.xml,说明:

  • master:9001中的masterhostname,如果你们设置的跟我的不一样请修改
  • file:/home/hadoop/dfs/namefile:/home/hadoop/dfs/data就是刚才第2步设置的目录,如果你们设置的跟我的不一样请修改
<configuration>
       <property>
                <name>dfs.namenode.secondary.http-address</name>
               <value>master:9001</value>
       </property>
     <property>
             <name>dfs.namenode.name.dir</name>
             <value>file:/home/hadoop/dfs/name</value>
       </property>
      <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/home/hadoop/dfs/data</value>
       </property>
       <property>
               <name>dfs.replication</name>
               <value>3</value>
        </property>
        <property>
                 <name>dfs.webhdfs.enabled</name>
                  <value>true</value>
         </property>
</configuration>

3.6 修改mapred-site.xml,说明:其中的masterhostname,如果你们设置的跟我的不一样请修改

<configuration>
          <property>
        <name>mapreduce.framework.name</name>
                <value>yarn</value>
           </property>
          <property>
                  <name>mapreduce.jobhistory.address</name>
                  <value>master:10020</value>
          </property>
          <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>master:19888</value>
       </property>
</configuration>

3.7 修改yarn-site.xml,说明:其中的masterhostname,如果你们设置的跟我的不一样请修改

<configuration>
        <property>
               <name>yarn.nodemanager.aux-services</name>
               <value>mapreduce_shuffle</value>
        </property>
        <property>
               <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
               <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
        <property>
               <name>yarn.resourcemanager.address</name>
               <value>master:8032</value>
       </property>
       <property>
               <name>yarn.resourcemanager.scheduler.address</name>
               <value>master:8030</value>
       </property>
       <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master:8031</value>
      </property>
      <property>
              <name>yarn.resourcemanager.admin.address</name>
               <value>master:8033</value>
       </property>
       <property>
               <name>yarn.resourcemanager.webapp.address</name>
               <value>master:8088</value>
       </property>
</configuration>

4、master配置完成,我们把hadoop整个目录复制到slave1slave2上去

hadoop@master:~$ sudo scp -r /usr/hadoop hadoop@slave1:~/
hadoop@master:~$ sudo scp -r /usr/hadoop hadoop@slave2:~/

5、使用ssh分别到slave1slave2机器上将hadoop目录移动到和master相同的目录中去

hadoop@master:~$ ssh slave1
hadoop@slave1:~$ sudo mv ~/hadoop/ /usr/
hadoop@master:~$ ssh slave2
hadoop@slave2:~$ sudo mv ~/hadoop/ /usr/

6、添加hadoop路径到环境变量中

hadoop@master:~$ vi /etc/environment
hadoop@master:~$ source /etc/environment

添加以下红框的内容,如果你们的hadoop路径和我的不一样,请修改 
这里写图片描述

7、启动hadoop

格式化namenode

hadoop@master:~$ hdfs namenode –format

7.1 分别清空主从节点 dfs/name,dfs/data,tmp,logs 目录文件

启动hdfs

hadoop@master:~$ start-dfs.sh

启动yarn

hadoop@master:~$ start-yarn.sh

8、查看进程

先看master的:

hadoop@master:~$ jps

这里写图片描述

slave1上查看进程:

hadoop@master:~$ ssh slave1
hadoop@slave1:~$ jps

这里写图片描述

也可以到浏览器中输入http://master:8088/查看: 
这里写图片描述

至此,Hadoop完全分布式环境已全部搭建完成!

本文转载自:http://blog.csdn.net/downing114/article/details/62883041

共有 人打赏支持
javaer
粉丝 20
博文 57
码字总数 7899
作品 0
太原
程序员
(第2篇)一篇文章教你轻松安装hadoop

如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装hadoop环境,只要你用心,仔细的跟着文章中讲到的做,肯定能正确安装。 安装hadoop环...

I加加 ⋅ 2017/03/06 ⋅ 0

(第2篇)一篇文章教你轻松安装hadoop

点击链接 https://my.oschina.net/ijj/blog 关注我的博客。学习更多hadoop知识。 如果你看了我的上一篇文章,那此时你对hadoop已经有了一个大概的了解,那接下来这篇文章就教大家怎么安装had...

隐姓埋名啊 ⋅ 2017/03/17 ⋅ 0

Hadoop环境搭建及相关组件的工作流程介绍

1前言 本篇博客主要是记录Hadoop环境配置包括单机伪分布环境搭建,分布式环境搭建和Hadoop相关组件的工作流程介绍,包括HDFS读写流程,YARN的资源调度流程,MapReduce工作流程。 建议先理解各...

u014732537 ⋅ 05/24 ⋅ 0

【Hadoop】Hadoop 2.x 完全分布式环境搭建

1、前期准备:克隆 克隆前需要关闭所有正在运行的服务进程,然后关闭系统。克隆需要选择完整克隆。克隆出两台虚拟机,共三台。 克隆后需要修改配置: (1)/etc/sysconfig/network中的HOSTN...

gongxifacai_believe ⋅ 04/22 ⋅ 0

大数据Hadoop需要了解哪些内容?

一、Hadoop环境搭建 1. Hadoop生态环境介绍 2. Hadoop云计算中的位置和关系 3. 国内外Hadoop应用案例介绍 4. Hadoop概念、版本、历史 5. Hadoop核心组成介绍及hdfs、mapreduce体系结构 6. H...

mo默瑶 ⋅ 05/05 ⋅ 0

shell 命令操作hdfs

简介 本编文章主要讲述shell 命令操作hdfs 主要讲述几个简单常用的shell 命令 如 ls get mkdir rm put 前提需要安装hdfs 作者用的是虚拟机搭建的伪分布式环境,如果没有搭建环境的可以参考这...

u012957549 ⋅ 2017/12/13 ⋅ 0

Hadoop+Zookeeper+Hbase分布式环境配置备忘

虚拟机环境: OS IP Host Name Java CentOS 6.6 192.168.56.101 master vm1-centos java-1.6.0-openjdk.x86_64 CentOS 6.6 192.168.56.102 slave1 vm2-centos java-1.6.0-openjdk.x86_64 Cen......

F风向标F ⋅ 2015/10/18 ⋅ 0

hadoop文件路径问题

使用ubuntu虚拟机进行数据处理,搭好hadoop完全分布式环境之后,将要处理的2个文件上传到hadoop集群中,不是有eclipse,直接使用shell脚本去调用class文件进行处理数据,其中有2个fromcsv.c...

颠覆 ⋅ 2014/12/02 ⋅ 0

vmware converter p2v ubuntu 12.04

一、使用的vmware版本 vcenter 6.0 VMware-converter-en-6.0.0-2716716 二、安装VMware-converter 1、准备一台用于安装VMware-converter的虚拟机或物理机 系统:windows2008R2 cpu:至少1核 ...

757781091 ⋅ 2017/04/21 ⋅ 0

(单机)CentOS 7_64位系统下搭建Hadoop_2.8.0分布式环境

准备条件: CentOS 7 64位操作系统 | 选择版本即可(不带可视化桌面环境),也可以选择带完整版 Hadoop-2.8.0 | 本文采用的是版本。 JDK1.8 | 本文采用版本。 - 解压并配置JDK并配置Hadoop ...

Youngs ⋅ 2017/06/07 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

JavaScript零基础入门——(十)JavaScript的DOM基础

JavaScript零基础入门——(十)JavaScript的DOM基础 欢迎大家回到我们的JavaScript零基础入门,上一节课,我们了解了JavaScript中的函数,这一节课,我们来了解一下JavaScript的DOM。 第一节...

JandenMa ⋅ 48分钟前 ⋅ 0

Spring mvc DispatchServlet 实现原理

在Spring中, ContextLoaderListener只是辅助类,在web 容器启动的时候查找并创建WebApplicationContext对象,通过该对象进行加载spring的配置文件。而真正的逻辑实现其实是在DispatcherSer...

轨迹_ ⋅ 59分钟前 ⋅ 0

Weex起步

本教程假设你已经在你的本地环境安装了node 其实weex起步教程在 https://github.com/lilugirl/incubator-weex 项目说明文件中都已经有了,但为了有些同学看到英文秒变文盲,所以这里我重新写...

lilugirl ⋅ 今天 ⋅ 0

Jenkins实践1 之安装

1 下载 http://mirrors.jenkins.io/war/latest/jenkins.war 2 启动 java -jar jenkins.war 前提:安装jdk并配置环境变量 启动结果节选: ************************************************......

晨猫 ⋅ 今天 ⋅ 0

组合数学 1-2000 中,能被6或10整除的数的个数

1--2000 中,能被6或10整除的数的个数 利用集合的性质 能被6整除的个数 2000/6 = 333 能被10整除的个数 2000/10 = 200 能被6和10整除的个数 2000/30 = 66 能被6或10整除的个数 333+200-66 =...

阿豪boy ⋅ 今天 ⋅ 0

一篇文章学懂Shell脚本

Shell脚本,就是利用Shell的命令解释的功能,对一个纯文本的文件进行解析,然后执行这些功能,也可以说Shell脚本就是一系列命令的集合。 Shell可以直接使用在win/Unix/Linux上面,并且可以调用...

Jake_xun ⋅ 今天 ⋅ 0

大数据工程师需要精通算法吗,要达到一个什么程度呢?

机器学习是人工智能的一个重要分支,而机器学习下最重要的就是算法,本文讲述归纳了入门级的几个机器学习算法,加大数据学习群:716581014一起加入AI技术大本营。 1、监督学习算法 这个算法由...

董黎明 ⋅ 今天 ⋅ 0

Kylin 对维度表的的要求

1.要具有数据一致性,主键值必须是唯一的;Kylin 会进行检查,如果有两行的主键值相同则会报错。 2.维度表越小越好,因为 Kylin 会将维度表加载到内存中供查询;过大的表不适合作为维度表,默...

无精疯 ⋅ 今天 ⋅ 0

58到家数据库30条军规解读

军规适用场景:并发量大、数据量大的互联网业务 军规:介绍内容 解读:讲解原因,解读比军规更重要 一、基础规范 (1)必须使用InnoDB存储引擎 解读:支持事务、行级锁、并发性能更好、CPU及...

kim_o ⋅ 今天 ⋅ 0

代码注释中顺序更改 文件读写换行

`package ssh; import com.xxx.common.log.LogFactory; import com.xxx.common.log.LoggerUtil; import org.apache.commons.lang3.StringUtils; import java.io.*; public class DirErgodic ......

林伟琨 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部