文档章节

HDFS文件损坏是怎么回事?如何修复损坏的HDFS文件。

 张欢19933
发布于 2017/06/26 17:47
字数 2019
阅读 85
收藏 0
点赞 0
评论 0

问题描述

HDFS在机器断电或意外崩溃的情况下,有可能出现正在写的数据(例如保存在DataNode内存的数据等)丢失的问题。再次重启HDFS后,发现hdfs无法启动,查看日志后发现,一直处于安全模式。

原因分析

出现前面提到的问题主要原因是客户端写入的数据没有及时保存到磁盘中,从而导致数据丢失;又因为数据块丢失达到一定的比率,导致hdfs启动进入安全模式。

为了弄清楚导致安全模式的原因,下面主要对hdfs安全模式和如何退出安全模式进行分析。

安全模式

当 hdfs的NameNode节点启动时,会进入安全模式阶段。安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性,同时根据策略必要的复制或者删除部分数据块。

在此阶段,NameNode加载fsimage(Filesystem image:文件meta信息的持久化的检查点)文件到内存中,然后在editlog中执行相应的操作。加载fsimage文件包含文件metadata信息,但是不包含文件块位置的信息。

DataNode启动的时候扫描本地磁盘,保存的block信息,然后将这些信息汇报给NameNode,让 NameNode得到块的位置信息,并对每个文件对应的数据块副本进行统计。

如果hdfs数据量很大时,进入至退出安全模式时间较长。

安全模式退出条件

当最小副本条件满足时,即一定比例(dfs.safemode.threshold.pct缺省值0.999f)的数据块都达到最小副本数,系统就会退出安全模式。当最小副本条件未达到要求时,就会对副本数不足的数据块安排DataNode进行复制,直至达到最小副本数。如果datanode丢失的block达到一定的比例(1-dfs.safemode.threshold.pct),则系统会一直处于安全模式状态即只读状态。而在安全模式下,系统会处于只读状态,NameNode不会处理任何块的复制和删除命令。

dfs.safemode.threshold.pct(缺省值0.999f)表示HDFS启动的时候,如果DataNode上报的block个数达到了元 数据 记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

下面这行摘录自NameNode启动时的日志:

异常情况:
The ratio of reported blocks 0.8544 has not reached the threshold0.9990. Safe mode will be turned off automatically.

org.apache.hadoop.hdfs.server.namenode.SafeModeException: Checkpoint not created. Name node is in safe mode.

正常情况:
The ratio of reported blocks 1.0000 has reached the threshold0.9990. Safe mode will be turned off automatically in 18 seconds.

解决方法

机器断电或意外崩溃是客观存在的事实,为了减少其带来的问题,从丢数据和不丢数据两个方面讨论解决方法

丢失少量数据

因为机器断电或意外崩溃,在内存中未写入的数据块已经丢失或损坏,无法复原,只有让hdfs离开安全模式,才可以让hdfs启动成功,这样无可避免的会导致数据丢失。

通过原因分析可知,有两个方法离开这种安全模式:

1. 修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999;

该方法虽然可以是HDFS正常启动,但是threshold.pct的值不好把握,设置低了会导致集群可靠性下降,不推荐使用。

2. 退出安全模式后,删除损坏的块文件,然后重启hdfs服务。

注: 不论hdfs是否采用journal ha模式。hdfs进入安全模式后,hbase无法启动,会一直打印等待dfs退出安全模式(“Waiting for dfs to exit safe mode...”),此时也不可以使用hbck工具修复hbase,否则会打印获取不到Master错误(

client.HConnectionManager$HConnectionImplementation: getMaster attempt 8 of 35 failed)。

退出安全模式具体方法如下:

1. 首先启动hdfs所有服务,包括NameNode | DataNode | JournalNode | DFSZKFailoverController等;

[hadoop@172-25-8-121 hadoop]$ ./sbin/start-dfs.sh

2. 判断hdfs是否处于安全模式

[hadoop@172-25-8-121 bin]$ hdfs dfsadmin -safemode get

Safe mode is ON

注:两种模式,ON / OFF

3. 使用fsck命令查看是否有损坏的块

[hadoop@172-25-8-121 hadoop]$ ./bin/hdfs fsck /

(以下红色标记的为缺失或损坏的块)

[hadoop@172-25-8-121 sbin]$ hadoop fsck /

……………

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/attribute/08fa05898ff34fe9b0cdfef5dc30e9e6:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742016

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/attribute/08fa05898ff34fe9b0cdfef5dc30e9e6:MISSING 1 blocks of total size 78969 B..

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/image/1ca82fc944a14a05aebac92b8de46d11:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742018

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/image/1ca82fc944a14a05aebac92b8de46d11:MISSING 1 blocks of total size 72545 B...

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/sequence/9ddd08a485164eabbdd16d66d96b19b3:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742020

/hbase/data/default/DSA_RESULT_SUMMARY/3432986e5109695221484de73f26cecd/sequence/9ddd08a485164eabbdd16d66d96b19b3:MISSING 1 blocks of total size 77363 B.........

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/attribute/a50e9e114db548508328bee892139800:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742015

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/attribute/a50e9e114db548508328bee892139800:MISSING 1 blocks of total size 138179 B..

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/image/9965fb45404b46278d2d4738bbff8051:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742017

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/image/9965fb45404b46278d2d4738bbff8051:MISSING 1 blocks of total size 126927 B....

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/sequence/441a9d027c944d78931d0d18a39454bd:CORRUPT blockpool BP-2061322962-172.25.8.121-1440560168099 block blk_1073742019

/hbase/data/default/DSA_RESULT_SUMMARY/939bafb7709b004c8a81796b6af05733/sequence/441a9d027c944d78931d0d18a39454bd: MISSING 1 blocks of total size 135366 B........................Status: CORRUPT

Total size: 1624639056 B (Total open files size: 45 B)

Total dirs: 85

Total files: 75

Total symlinks: 0 (Files currently being written: 5)

Total blocks (validated): 83 (avg. block size 19573964 B) (Total open file blocks (not validated): 5)

********************************

CORRUPT FILES: 6

MISSING BLOCKS: 6

MISSING SIZE: 629349 B

CORRUPT BLOCKS: 6

********************************

Minimally replicated blocks: 77 (92.77109 %)

Over-replicated blocks: 0 (0.0 %)

Under-replicated blocks: 0 (0.0 %)

Mis-replicated blocks: 0 (0.0 %)

Default replication factor: 2

Average block replication: 1.8554217

Corrupt blocks: 6

Missing replicas: 0 (0.0 %)

Number of data-nodes: 4

Number of racks: 1

FSCK ended at Wed Aug 26 17:17:22 CST 2015 in 44 milliseconds

The filesystem under path '/' is CORRUPT

4. 在NameNode节点上使用dfsadmin命令离开安全模式

[hadoop@172-25-8-121 hadoop]$ ./bin/hdfs dfsadmin -safemode leave

Instead use the hdfs command for it.

Safe mode is OFF

5. 使用fsck命令将丢失的块删除

[hadoop@172-25-8-121 hadoop]$ ./bin/hdfs fsck -delete

6. 重启hdfs相关服务

[hadoop@172-23-9-20 hadoop]# ./sbin/dfs-start.sh

7. 重启hbase

[hadoop@172-23-9-20 hbase]# ./bin/start-hbase.sh

8. 如果hbase启动失败,则使用hbck命令修复

[hadoop @172-23-9-20 hbase]# ./bin/hbase hbck -repair

HBase提供了hbck命令来检查各种不一致问题,包括meta数据不一致。检查数据在Master及RegionServer的内存中状态与数据在HDFS中的状态之间的一致性。

HBase的hbck不仅能够检查不一致问题,而且还能够修复不一致问题。

在生产环境中,应当经常运行hbck,以便及早发现不一致问题并更容易地解决问题。

不丢数据

使用hsync()方法实现意外断电情况下HDFS数据的完整性。hdfs在Client端提供了hsync()的方法调用,从而保证在机器崩溃或意外断电的情况下,数据不会丢失。

在hdfs中,调用hflush()会将Client端buffer中的存放数据更新到Datanode端,直到收到所有Datanode的ack响应时结束调用。这样可保证在hflush()调用结束时,所有的Client端都可以读到一致的数据。hdfs中的sync()本质也是调用hflush()。

hsync()则是除了确保会将Client端buffer中的存放数据更新到Datanode端外,还会确保Datanode端的数据更新到物理磁盘上,这样在hsync()调用结束后,即使Datanode所在的机器意外断电,数据并不会因此丢失。而hflush()在机器意外断电的情况下却有可能丢失数据,因为Client端传给Datanode的数据可能存在于Datanode的cache中,并未持久化到磁盘上。

hdfs虽然提供了hsync()方法,但是若我们对每次写操作都执行hsync(),会严重加剧磁盘的写延迟。通过一些策略,比方说定期执行hsync()或当存在于Cache中的数据达到一定数目时,执行hsync()会是更可行的方案,从而尽量减少机器意外断电所带来的影响。

本文转载自:http://zwkufo.blog.163.com/blog/static/2588251201582065659603/

共有 人打赏支持
粉丝 30
博文 422
码字总数 212045
作品 0
海淀
HDFS的Shell访问和Java API访问

Shell访问HDFS常用命令 1.shell 操作单个 HDFS 集群 下面列举出几个常用场景下的命令。 1、创建文件夹 HDFS 上的文件目录结构类似 Linux,根目录使用 "/" 表示。下面的命令将在 /middle 目录...

等待救赎
2015/10/19
97
0
java调用HDFS API问题

java调用HDFS的api,读取hdfs上的文件内容,然后采用压缩的方式写回HDFS,现在遇到的问题是 -get 文件到本地,解压不了,提示压缩文件损坏,而在hdfs上-text可以查看到压缩数据,有遇到相同问...

ddxtx
2016/05/30
87
0
【Hadoop】数据存储----HDFS

一次写入,多次查询,写人关闭时,不支持修改,同一时间只有写或读一个操作,不支持并发写入情况,适合大数据 使用前提: 1.hdfs设计思路和实现目标 : 1.硬件错误检测和快速恢复;2.注重批量...

mengdonghui123456
2016/11/13
0
0
HDFS存储架构剖析

HDFS架构图(Hadoop distribute File System) image.png NameNode 介绍 Namenode 是一个中心服务器,单一节点(简化系统的设计和实现),负责管理文件系统的名字空间(namespace)以及客户端对文...

突突修
02/07
0
0
Hadoop分布式文件系统设计要点与架构

Hadoop分布式文件系统设计要点与架构 Hadoop简介:一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存...

李伟铭k
07/09
0
0
HBase运维基础――元数据逆向修复原理

  【IT168 评论】   背景   鉴于上次一篇文章――“云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据”的读者反馈,对HBase的逆向工程比较感兴趣,并咨询如何使用相应工具进行运...

云栖社区
05/02
0
0
大数据学习~Hadoop初识一

今天趁着端午节的最后一天假期,把想看的视频看了下。也走了一遍Hadoop的安装步骤。总的来说流程也明白了很多。这次文章简单的介绍知识点。具体安装步骤大家可以先看网上的。后面有时间的时候...

super糖
06/18
0
0
hadoop架构详解一

hadoop架构组成 hadoop有两部分组成:分布式文件系统HDFS,统一的资源管理器YARN hdfs架构 Client:切分文件;访问或通过命令行管理HDFS;与NameNode交互,获取文件位置信息;与DataNode交互...

张欢19933
2016/03/29
224
0
【Hadoop】04-NameNode工作机制

NAMENODE职责:负责客户端请求的响应和元数据的管理(查询,修改)。 元数据管理 namenode对数据的管理采用了三种存储形式: 内存元数据(NameSystem) 磁盘元数据镜像文件 数据操作日志文件(...

shenchaohao12321
04/22
0
0
HDFS 主备节点NameNode副本恢复重建机制恢复丢失副本问题?

在HDFS中DataNode与NameNode之间通过心跳周期汇报数据状态,NameNode管理数据块是否上报完整,如果DataNode因硬盘损坏未上报数据块,NameNode将发起副本重建动作恢复丢失的副本。那么请问Nam...

N先生
2017/11/01
17
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

fiddle 4 初始化

下载 配置fiddle 4 如果证书导出失败,执行下面脚本 D:\programs\Fiddler>makecert.exe -r -ss my -n "CN=DO_NOT_TRUST_FiddlerRoot, O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.c......

柯里昂
4分钟前
0
0
rabbitmq学习记录(六)交换机Exchange-direct

实现功能:一条消息发送给多个消费者 交换机模式:direct 相比于之前的fanout模式,可以进一步的筛选获取消息的消费者。 fanout模式下,只要消费者监听的队列,已经与接收生产者消息的交换机...

人觉非常君
21分钟前
0
0
Java 之 枚举

Java 中声明的枚举类,均是 java.lang.Enum 类的子类,Enun 类中的常用方法有: name() 返回枚举对象名称 ordinal() 返回枚举对象下标 valueOf(Class enumType, String name) 转换枚举对象 ...

绝世武神
29分钟前
0
0
使用爬虫实现代理IP池之放弃篇

啥叫代理IP以及代理IP池 概念上的东西网上搜索一下就好了,这里简单科普一下(大部分会读这篇文章的人,基本是不需要我来科普的),白话说就是能联网并提供代理访问互联网的服务器,它提供的...

一别丶经年
45分钟前
0
0
sqoop导入数据到Base并同步hive与impala

使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境 Sqool和Hive、HBase简介 Sqoop Hive HBase 测试Sqoop 使用Sqoop从MySQL导入数据到Hive 使用复杂SQL 调整Hive数据类型 不断更新 ...

hblt-j
今天
0
0
Dart 服务端开发 文件上传

clent端使用angular组件 upload_component.html form id="myForm" method="POST" enctype="multipart/form-data"> <input type="file" name="fileData"> <!-- file field --></form>......

scooplol
今天
0
0
apache和tomcat同时开启,乱码问题

tomcat和apache同时开启,会走apache的转发,执行的是AJP/1.3协议。所以在tomcat的配置文件server中, <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" useBodyEncodingForU......

Kefy
今天
0
0
使用ssh-keygen和ssh-copy-id三步实现SSH无密码登录 和ssh常用命令

ssh-keygen 产生公钥与私钥对. ssh-copy-id 将本机的公钥复制到远程机器的authorized_keys文件中,ssh-copy-id也能让你有到远程机器的home, ~./ssh , 和 ~/.ssh/authorized_keys的权利 第一步...

xtof
今天
0
0
orcale 查询表结构

SELECT t.table_name, t.colUMN_NAME, t.DATA_TYPE || '(' || t.DATA_LENGTH || ')', t1.COMMENTS FROM User_Tab_Cols t, User_Col_Comments t1WHERE t.table_name......

wertwang
今天
0
0
华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大

华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大!华为nova3超级慢动作酷玩抖音,没有办法我就是这么强大! 在华为最新发布的nova 3手机上,抖音通过华为himedia SDK集成了60fps、超级...

华为终端开放实验室
今天
0
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部