文档章节

Hadoop文件系统元数据管理机制

JokerLai
 JokerLai
发布于 01/05 14:55
字数 455
阅读 356
收藏 7

edits log 默认是 64MB,当写满的时候或者到一定周期的时候,Namanode就会进行 CheckPoint。Checkpoint是一个内部事件,这个事件激活以后会触发数据库写进程(DBWR)将数据缓冲(DATABUFFER CACHE)中的脏数据块写出到数据文件中。

这里仅仅是以一份副本来描述,实际上默认是切片后每一个切片的数据块都有三份副本,保存在不同的Datanode中,假设有多个不同的机架,每个机架有多台主机,意味着有多个机架上面的Datanode,每一台主机作为一个Datanode,数据块的副本保存顺序是:

  • 1、先在本机架上面找寻最近的一台主机保存第一份副本;
  • 2、然后到其他机架上面随机选择一台主机保存第二份副本;
  • 3、最后再在本机架上面除第一份副本的主机外随机选择另一台主机保存第三份副本。
若是Namenode宕机了,还能否恢复数据?重启集群之后还能提供服务么?

可以恢复数据,通过FSimage恢复数据;Namenode宕机了提供不了查询数据和保存数据的功能,因此不能提供服务。 可以使用 多个Namenode副本,副本namenode与namenode的数据保持一致,这里是HA高可用机制,一个namenode宕机了,由另一个namenode顶替继续提供服务。

© 著作权归作者所有

共有 人打赏支持
JokerLai
粉丝 3
博文 9
码字总数 7094
作品 0
广州
私信 提问
加载中

评论(1)

外包项目发布平台00
程序员外包项目兼职平台,教你怎么年入500W!欢迎加入 www.hiyougo.cn
HDFS入门之HDFS重要特性

HDFS入门之HDFS重要特性 首先,它是一个文件系统,用于存储文件,通过统一的命名空间目录树来定位文件; 其次,它是分布式的,由很多服务器联合起来实现其功能,集群中的服务器有各自的角色。...

qq_41455420
2018/01/31
0
0
大数据教程(11.1)HA机制以及设计思路的分析

上一章介绍了一些hadoop的实战分析案例,本章将介绍hadoop的高可用以及初步认识hive。 一、Hadoop的HA机制 前言:正式引入HA机制是从hadoop2.0开始,之前的版本中没有HA机制;HA的运作机制:...

em_aaron
01/01
0
0
大数据教程(7.3)namenode管理元数据的机制&datanode工作机制介绍

前面两篇博客介绍了HDFS客户端读写数据流程,本篇博主将带给小伙伴们namenode和datanode的工作机制的分享。 一、目标 理解namenode的工作机制尤其是元数据管理机制,以增强对HDFS工作原理的理...

em_aaron
2018/11/11
0
0
【Hadoop】04-NameNode工作机制

NAMENODE职责:负责客户端请求的响应和元数据的管理(查询,修改)。 元数据管理 namenode对数据的管理采用了三种存储形式: 内存元数据(NameSystem) 磁盘元数据镜像文件 数据操作日志文件(...

shenchaohao12321
2018/04/22
0
0
HDFS 进化,Hadoop 即将拥抱对象存储?

Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone,能将HDFS从文件系统扩展成更加复杂的企业级存储层。 Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境,这...

oschina
2014/10/16
3.1K
7

没有更多内容

加载失败,请刷新页面

加载更多

eggjs与sequelize简单demo

参考 egg 官方文档 安装 // 依赖npm install --save egg-sequelize mysql2// ts 类型npm install --save @types/sequelize 插件,config/plugin.ts import { EggPlugin } from 'egg';......

Geeyu
55分钟前
1
0
看过上百部片子的这个人教你视频标签算法解析

本文由云+社区发表 随着内容时代的来临,多媒体信息,特别是视频信息的分析和理解需求,如图像分类、图像打标签、视频处理等等,变得越发迫切。目前图像分类已经发展了多年,在一定条件下已经...

腾讯云加社区
今天
4
0
2. 红黑树

定义:红黑树(Red-Black Tree,简称R-B Tree),它一种特殊的二叉查找树(Binary Search Tree)。 要理解红黑树,先要了解什么是二叉查找树。在上一章中,我们学习了什么是二叉树,以及二叉树...

火拳-艾斯
今天
3
0
input的button类型,点击页面跳转

一、input type=button 不做任何操作 例如: <input type="button" class="btn btn-primary" style="width: 30%" value="返回" onclick="window.location.href='/users/list'"></input> onc......

Sunki
今天
1
0
踩坑:js 小数运算出现精度问题

背景 在学习小程序商城源码时发现了这个问题,单价可能出现小数,小数之间运算结果会莫名其妙多出一大串数字,比如下面这样👇。 在此之前我是知道 js 中著名的 0.1 + 0.2 != 0.3 的问题的,...

dkvirus
今天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部