文档章节

【Hadoop】- Hadoop1.x 伪分布式环境搭建

ZeroneLove
 ZeroneLove
发布于 02/24 23:03
字数 773
阅读 0
收藏 0

Hadoop体系的主要组件:HDFS/MapReduce


HDFS: Hadoop Distribution File System

NameNode、SecondNameNode:名称节点

作用:维护Hadoop中存储数据块的相关信息,例如记录hadoop集群中某个数据块所在的服务器位置,SecondNameNode主要是起到冗余作用,当NameNode宕机时,可使用SecondNameNode作为NameNode的替代工具,防止整个Hadoop集群的崩溃

DataNode: 数据节点

作用: 主要是存储HDFS数据块的服务器,负责HDFS数据库的存储(读写)


MapReduce: 分布式计算框架

  • JobTracker: 作业跟踪器,类似司令的角色,主要用于处理作业,将作业进行分割成任务task,统一调度

  • TaskTracker:任务跟踪器:主要管理节点上task,类似士兵的角色,向JobTracker报告

  • master:JobTracker NameNode节点所在的服务器

  • slave: DataNode TaskTracker节点所在的服务器

注意:1个Hadoop集群只有1个JobTracker作业跟踪器,JobTracker和NameNdoe可在同1个服务器,TaskTracker和DataNode一般在同一个服务器,一个TaskTracker管理所在服务器的任务


Hadoop伪分布式:所有节点都在同1个服务器(开发用)

①:配置hadoop环境(hadoop-env.sh): export JAVA_HOME=/usr/local/java/jdk1.8.0_112 (hadoop基于Java开发,需要配置jdk)

②:Hadoop的核心配置:core-site.xml(例如:名称节点、I/O配置等)

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

因是伪分布式,这里配置的名称节点的ip为localhost,实际完全分布式情况需要设置实际的服务主机的ip

③:配置hdfs文件系统 hdfs-site.xml:配置dataNode的存储位置及数据块的备份次数

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.data.dir</name>
<value>/usr/local/hadoop-0.20.2/data</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

④:配置MapReduce mapred-site.xml:JobTracker节点服务器配置

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>

⑤:格式化HDFS文件系统:bin目录自带的hadoop命令(名称节点服务器格式化): ./hadoop namenode –format

⑥:启动hadoop集群:/bin/start-all.sh :hadoop启动脚本 查看Hadoop是否成功启动:使用jdk自带的jps命令,可以查询linux中和Java相关的进程信息:

[root@localhost bin]# jps 19344 SecondaryNameNode 19152 NameNode 19249 DataNode 19511 TaskTracker 19417 JobTracker 19551 Jps

**结果:**显示Hadoop关键的守护进程的信息表明hadoop伪集群成功启动

注意:这里是使用伪分布式的hadoop,完全分布式需要配置各个节点的ssh的公钥共享,无需ssh密码登陆就可实现hadoop集群中各个节点之间的数据传输,伪分布式通过单点模拟hadoop集群,只需将自己的公钥加入authorized_keys即可。

© 著作权归作者所有

ZeroneLove
粉丝 6
博文 164
码字总数 133695
作品 0
深圳
高级程序员
私信 提问
【Hadoop】- Hadoop1.x 完全分布式环境搭建

环境: 1台NameNode服务器,2台DataNode服务器 安装步骤 ①:配置/etc/hosts文件:实现集群内部的DNS解析,无需查询DNS服务器,当访问远程主机时首先查询hosts文件是否有配置,如果配置则直接...

ZeroneLove
02/24
2
0
Hadoop相关文章索引(3)

环境部署 hadoop-2.7.0.tar.gz hadoop 2.6.0单节点-伪分布式模式安装 hadoop2.x配置jobHistory server(转) Hadoop2.7.2集群搭建详解(三台) 基本常识 Hadoop1.x和2.X的HDFS fsimage和edi...

司小幽
2018/08/22
0
0
【Hadoop】Hadoop 2.x 完全分布式环境搭建

1、前期准备:克隆 克隆前需要关闭所有正在运行的服务进程,然后关闭系统。克隆需要选择完整克隆。克隆出两台虚拟机,共三台。 克隆后需要修改配置: (1)/etc/sysconfig/network中的HOSTN...

gongxifacai_believe
2018/04/22
0
0
【Spark亚太研究院-构建Spark集群-配置Hadoop伪分布模式并运行Wordcount(2)

执行文件拷贝操作 拷贝后的“input”文件夹的内容如下所示: 和我们的hadoop安装目录下的“conf”文件的内容是一样的。 现在,在我们刚刚构建的伪分布式模式下运行wordcount程序: 运行完成后...

Spark亚太研究院
2014/08/27
508
0
运行Hadoop自带的wordcount单词统计程序

0.前言 前面一篇《Hadoop初体验:快速搭建Hadoop伪分布式环境》搭建了一个Hadoop的环境,现在就使用Hadoop自带的wordcount程序来做单词统计的案例。 1.使用示例程序实现单词统计 (1)wordc...

xpleaf
2017/09/03
0
0

没有更多内容

加载失败,请刷新页面

加载更多

并发编程之Callable异步,Future模式

Callable 在Java中,创建线程一般有两种方式,一种是继承Thread类,一种是实现Runnable接口。然而,这两种方式的缺点是在线程任务执行结束后,无法获取执行结果。我们一般只能采用共享变量或...

codeobj
16分钟前
3
0
Ubuntu环境下安装PaddlePaddle

开篇 深度学习技术是目前非常热门的技术,笔者在闲暇之余决定学习一下这门技术,入门选择了百度开源的PaddlePaddle框架。 paddlepaddle介绍 飞桨(PaddlePaddle) 是国际领先的端到端开源深度学...

豫华商
59分钟前
3
0
LeetCode 第 287 号问题:寻找重复数,一道非常简单的数组遍历题,加上四个条件后感觉无从下手

今天分享的题目来源于 LeetCode 第 287 号问题:寻找重复数。 题目描述 给定一个包含 n + 1 个整数的数组 nums,其数字都在 1 到 n 之间(包括 1 和 n),可知至少存在一个重复的整数。假设只...

五分钟学算法
今天
3
0
vuex mapActions

本文转载于:专业的前端网站➧vuex mapActions 在组件中使用 this.$store.dispatch('xxx') 分发 action,或者使用 mapActions 辅助函数将组件的 methods 映射为 store.dispatch 调用(需要先在...

前端老手
今天
4
0
使用bash -x 调试信息查看lvextend -r的调用

--1.打开调试: [root@db01 storage]# set -x --2.执行命令: [root@db01 storage]# /usr/sbin/lvextend -r -L 710M /dev/shazam/storage + /usr/sbin/lvextend -r -L 710M /dev/shazam/sto......

突突突酱
今天
4
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部