文档章节

11.4 优化拆分和合并(region)

J
 J_Stone
发布于 2014/05/29 16:18
字数 350
阅读 297
收藏 0

一、手动分割

  • 为了避免拆分/合并风暴,关闭region自动拆分、合并,手动调用split和major_compact命令。

          1  设置hbase.hregion.max.filesize为一个很大的值,如,100G

          2 使用API或shell实现手动分割 、

二、热点问题

  •   缓解region热点问题

      手动将热点region分割成一个或多个region,然后将子region负载分布到多个region服务器上。

  •   什么是表热点?

     对于拥有多个region的表来说,大多数的region分布并不均匀,即大多数region在同一个服务器上。

  •   解决表热点问题?

    方法1: 使用HBase shell 或 HBaseAdmin类中的API,通过move()函数显示的移动region到另外一台服务器上。

    方法2: 使用unassign()方法或者shell命令简单地从当前服务器移除受影响表的region,master会立即将其部署到其他

         region服务器上。

三、预分配

      1 建表时预分配:使用HexStringSplit

          create 'poidb', { NAME => 'info', COMPRESSION => 'snappy' },  {NUMREGIONS => 9, SPLITALGO      => 'HexStringSplit'}

     2 建表时预分配:指定startkey endkey

         create 'testtable', 'colfam1', { SPLITS => [ 'row-100', 'row-200','row-300', 'row-400' ] }

    3 查看60010 端口,hmaster进程,看新建表的分区。

四、合并region

    1 使用工具类:hbase org.apache.hadoop.hbase.util.Merge

        hbase org.apache.hadoop.hbase.util.Merge table \
        poidb,1c71c71c,1401350387344.163071a6eb98d44e0e6d087ff9e48d53. \
        poidb,38e38e38,1401350387344.86b9bb5b0989dcfe955c18f4a74450c7. 

    2 原理:在每个region中读取存储文件,并将它们合并成一个新的存储文件。

© 著作权归作者所有

上一篇: 11.5 负载均衡
下一篇: 11.3 压缩
J
粉丝 2
博文 167
码字总数 30214
作品 0
朝阳
私信 提问
Tensorflow 源码分析- 从GPU OOM开始说Tensorflow的BFC内存管理

前言 在平台上跑GPU训练,结果CUDA OOM了,错误提示 E Internal: failed initializing StreamExecutor for CUDA device ordinal 0: Internal: failed call to cuDevicePrimaryCtxRetain: CUD......

raintungli
2018/05/04
0
0
HBase的读写流程以及优化

HBase的读写流程--依赖于HBase的4大组件:分别是客户端、Zookeeper、HMaster和HRegionServer。 HBase的读写都是由客户端进行发起的。首先是读的过程:客户端根据用户提供的表名、行键去客户端...

HIVE
2016/07/03
614
0
SOFAJRaft-RheaKV MULTI-RAFT-GROUP 实现分析 | SOFAJRaft 实现原理

SOFAStack Scalable Open Financial Architecture Stack 是蚂蚁金服自主研发的金融级分布式架构,包含了构建金融级云原生架构所需的各个组件,是在金融场景里锤炼出来的最佳实践。 SOFAJRaf...

SOFAStack
2019/07/25
25
0
HRegionServer详解

HRegionServer主要负责响应用户I/O请求,向HDFS文件系统中读写数据,是HBase中最核心的模块。 HRegionServer内部管理了一系列HRegion对象,每个HRegion对应了Table中的一个Region,HRegion中...

八戒_o
2016/01/02
241
0
从MySQL到HBase:数据存储方案转型的演进

作者介绍 杨宏志,知乎首页架构负责人,主要负责首页工程化建设、工程架构优化、性能提升等工作。知乎专栏:https://zhuanlan.zhihu.com/c_195355141 MySQL与HBase说到最核心的点,是一种数据...

DBAplus社群
2018/06/19
0
0

没有更多内容

加载失败,请刷新页面

加载更多

2020,向死而生

或许2020年注定是非常艰难的一年,毕竟两个轮回前之的1900年,清廷过得也很艰难,义和团在北方闹得轰轰烈烈,紫禁城也被八国联军占领。次年(1901年)即签订了后世所谓的丧权辱国的辛丑条约,...

嘉树
34分钟前
7
0
git 常用配置

git config --global core.compression 0 git config --global http.lowSpeedLimit 0 git config --global http.lowSpeedTime 999999 git config --global http.postBuffer 524288000......

老码农008
34分钟前
6
0
Protel99SE WIN10系统下无法添加封装库的解决方法

Protel99SE WIN10系统下无法添加封装库的解决方法 Protel99SE这款PCB设计软件实在太古老了,导致与微软的最新操作系统有些功能不能兼容,比如WIN10系统下无法添加封装库;但是由于Protel99S...

demyar
36分钟前
3
0
大数据风控系统概述

为什么要做风控系统 不做的话,会有以下风险: 各种小号、垃圾账号泛滥 撞库攻击、盗号、毁号、拖库等 拉新 10w 留存率不到 5% 百万营销费用,却增加不了用户粘性 投票票数差距非常悬殊 各种...

大数据技术进阶
36分钟前
5
0
串口调试助手,VB6.0开发

1、为什么要自己开发一个串口调试助手 通常我们都是:在网上直接下载一个串口助手,可执行文件,直接使用,并无法得到其源码,在此我们提供了一个VB6.0开发的串口助手: (1)让你极速掌握串...

superman150
39分钟前
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部