文档章节

HBase 表修复在线方式和离线方式

Ryan-瑞恩
 Ryan-瑞恩
发布于 09/24 11:26
字数 431
阅读 23
收藏 0

一、在线修复

    1.1 使用检查命令

$ ./bin/hbase hbck

该命令可完整修复  HBase 元数据信息;存在有错误信息会进行输出;

也可以通过如下命令查看详细信息:

$ ./bin/hbase hbck -details

   

     1.2 修复 TableInfo 缺失

    使用如下命令:

$ ./bin/hbase hbck -fixTableOrphones

    根据内存cache或者hdfs table 目录结构,重新生成tableinfo文件!

   

     1.3 修复regioninfo缺失

    根据region目录下的hfile重新生成regioninfo文件

$ ./bin/hbase hbck -fixHdfsOrphones

 

    1.4 修复region重叠

    merge重叠的region为一个region目录,并从新生成一个regioninfo。

$ ./bin/hbase hbck -fixHdfsOverlaps

 

    1.5 修复region缺失

    利用缺失的rowkey范围边界,生成新的region目录以及regioninfo填补这个空洞!

$ ./bin/hbase hbck -fixHdfsHoles ,

    

    1.6 修复meta表信息

    利用regioninfo信息,重新生成对应meta row填写到meta表中,并为其填写默认的分配regionserver

$ ./bin/hbase hbck -fixMeta

    

    1.7 出发上线    

    把这些offline的region触发上线,当region开始重新open上线的时候,会被重新分配到真实的RegionServer上 , 并更新meta表上对应的行信息。

hbase hbck -fixAssignment

 

二、离线修复

    离线修复的前提条件:HDFS fsck确保hbase根目录下没有文件损坏和丢失。如果有,应该先考虑修复/处理 corrupt 的 block 块。

    使用如下命令:

 $ ./bin/hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepair 

 

参考资料:

【1】HBase 官方文档 . http://hbase.apache.org/book.html#hbck.in.depth 

© 著作权归作者所有

共有 人打赏支持
Ryan-瑞恩

Ryan-瑞恩

粉丝 150
博文 230
码字总数 180580
作品 0
西安
后端工程师
私信 提问
云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据

摘要: 使用过开源HBase的人都知道,运维HBase是多么复杂的事情,集群大的时候,读写压力大,配置稍微不合理一点,就可能会出现集群状态不一致的情况,糟糕一点的直接导致入库、查询某个业务...

阿里云云栖社区
04/18
0
0
hbase日常操作以及日常维护

一,基本命令: 建表:create 'testtable','coulmn1','coulmn2' 也可以建表时加coulmn的属性如:create 'testtable',{NAME => 'coulmn1', BLOOMFILTER => 'NONE', REPLICATIONSCOPE => '0', ......

北游
2012/09/03
0
0
HBase运维基础――元数据逆向修复原理

  【IT168 评论】   背景   鉴于上次一篇文章――“云HBase小组成功抢救某公司自建HBase集群,挽救30+T数据”的读者反馈,对HBase的逆向工程比较感兴趣,并咨询如何使用相应工具进行运...

云栖社区
05/02
0
0
sqoop导入数据到Base并同步hive与impala

使用Sqoop从MySQL导入数据到Hive和HBase 及近期感悟 基础环境 Sqool和Hive、HBase简介 测试Sqoop 使用Sqoop从MySQL导入数据到Hive 使用Sqoop从MySQL导入数据到HBase 关于Sqoop2 综上所述 其他...

hblt-j
07/20
0
0
HBase 在淘宝的应用和优化小结

本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。 原文地址:h...

阿酷
2012/03/08
2.2K
2

没有更多内容

加载失败,请刷新页面

加载更多

mybatis学习(1)

JDBC连接方式: 1.底层没有使用连接池,操作数据库需要频繁的创建和关闭连接,消耗资源。 2.写原生的JDBC代码在JAVA中,一旦需要修改SQL的话(比如表增加字段),JAVA需要整体重新编译,不利...

杨健-YJ
52分钟前
2
0
怎么组织文档

可以从以下几个方面考虑组织文档: ☐ 各种分支的界面截图和对应的类及文件 ☐ 框架或类图 ☐ 流程图 ☐ 时序图 ☐ 注意事项

-___-
今天
4
0
分布式之数据库和缓存双写一致性方案解析

引言 为什么写这篇文章? 首先,缓存由于其高并发和高性能的特性,已经在项目中被广泛使用。在读取缓存方面,大家没啥疑问,都是按照下图的流程来进行业务操作。 但是在更新缓存方面,对于更...

别打我会飞
今天
16
0
我的oracle11G,12c OCM之路

ocm认证感悟 ---------------------- 距离拿到ocm证书已经过了1年的时间,当初拿到证书的心情到现在还记得。其实在每个DBA心里都有一个成为强者的梦想,需要被认可,我也一样。我干过开发,做...

hnairdb
今天
5
1
手动部署kubernetes集群(1.13.1最新版)

一、机器规划 使用五台机子部署k8s集群,规划如下: master节点3台(同时也是etcd节点) node节点2台 ip分配如下: ip:192.168.10.101,主机名:k8s-etcd01 ip:192.168.10.102,主机名:k8s...

人在艹木中
今天
32
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部