文档章节

11.2 本地memstore分配缓冲区

J
 J_Stone
发布于 2014/05/29 14:11
字数 268
阅读 18
收藏 0

一、 生存期长的keyvalue实例刷写到磁盘中--》老生代堆上生成孔洞-》孔洞越来越多,无法足够大的连续空间分配-》JRE使用 stop-the-world垃圾回收器-》重写整个堆空间,并压缩剩余可用对象

二、 解决以上问题的方法 :

  0.92版本后使用 本地memstore分配缓冲区(memstore-local allocation buffer) MSLAB

  即,从堆中分配同样大小的对象,当最终被回收时,堆中将留下固定大小的孔洞。

三、配置文件中 配置:

  1 通过hbase.hregion.memstore.mslab.enabled 来配置

  2 分配缓冲区大小:hbase.hregion.memstore.mslab.chunksize ,默认是2M,且是合理的。

    根据自己的keyvalue实例大小来调整。

  3 存储缓冲区上边界:hbase.hregion.memstore.mslab.max.allocation 属性,默认256kb,

    超过这个值,直接在java堆中申请空间。

四 优缺点:

   优点:推迟垃圾回收停顿的发生 

   缺点:1 浪费堆空间,不能充分利用

            2 使用缓冲区需要额外的内存复制工作,比直接使用keyvalues实例

© 著作权归作者所有

下一篇: dubbo性能测试
J
粉丝 2
博文 167
码字总数 30214
作品 0
朝阳
私信 提问
Accordion :一种HBase内存压缩算法介绍

  【IT168 技术】现如今,人们对基于HBase的产品的读写速度要求越来越高。在理想情况下,人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此,在HBase2....

网络大数据
2018/05/22
0
0
Accordion:HBase一种内存压缩算法

现如今,人们对基于HBase的产品的读写速度要求越来越高。在理想情况下,人们希望HBase 可以在保证其可靠的持久存储的前提下能并拥有内存数据读写的速度。为此,在HBase2.0中引入According算法...

HBase技术社区
2018/05/01
0
0
Accordion:HBase “呼吸式”内存压缩算法

  【IT168 评论】现今,HBase 所支持的现代产品对Hbase读写性能的期望越来越高。理想情况下,HBase 也希望在保证其可靠的持久存储的前提下能同时享有内存数据库的速度。社区的贡献者在HBa...

Hbase工作笔记
2018/05/24
0
0
hbase-site.xml 和 hbase-default.xml

正如Hadoop放置HDFS的配置文件hdfs-site.xml,Hbase的配置文件是 conf/hbase-site.xml. 你可以在 Section 3.1.1, “HBase 默认配置”找到配置的属性列表。你也可以看有代码里面的hbase-defau...

超人学院
2016/07/11
394
0
Hbase写数据,存数据,读数据的详细过程

Hbase写数据和存数据的过程 Client写入 -> 存入MemStore,一直到MemStore满 -> Flush成一个StoreFile,直至增长到一定阈值 -> 出发Compact合并操作 -> 多个StoreFile合并成一个StoreFile,同...

张欢19933
2016/04/09
274
0

没有更多内容

加载失败,请刷新页面

加载更多

Jenkins World 贡献者峰会及专家答疑展位

本文首发于:Jenkins 中文社区 原文链接 作者:Marky Jackson 译者:shunw Jenkins World 贡献者峰会及专家答疑展位 本文为 Jenkins World 贡献者峰会活动期间的记录 Jenkins 15周岁啦!Jen...

Jenkins中文社区
24分钟前
8
0
杂谈:面向微服务的体系结构评审中需要问的三个问题

面向微服务的体系结构如今风靡全球。这是因为更快的部署节奏和更低的成本是面向微服务的体系结构的基本承诺。 然而,对于大多数试水的公司来说,开发活动更多的是将现有的单块应用程序转换为...

liululee
39分钟前
7
0
OSChina 周二乱弹 —— 我等饭呢,你是不是来错食堂了?

Osc乱弹歌单(2019)请戳(这里) 【今日歌曲】 @ 自行车丢了:给主编推荐首歌 《クリスマスの夜》- 岡村孝子 手机党少年们想听歌,请使劲儿戳(这里) @烽火燎原 :国庆快来,我需要长假! ...

小小编辑
今天
417
9
玩转 Springboot 2 之热部署(DevTools)

Devtools 介绍 SpringBoot 提供了热部署的功能,那啥是热部署累?SpringBoot官方是这样说的:只要类路径上的文件发生更改,就会自动重新启动应用程序。在IDE中工作时,这可能是一个有用的功能...

桌前明月
今天
6
0
CSS--列表

一、列表标识项 list-style-type none:去掉标识项 disc:默认实心圆 circle:空心圆 squire:矩形 二、列表项图片 list-style-img: 取值:url(路径) 三、列表项位置 list-style-position:...

wytao1995
今天
10
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部