文档章节

论hbase创建优化

悲喜世界
 悲喜世界
发布于 01/23 17:28
字数 427
阅读 17
收藏 0

每周一篇博文,坚持自我提升。

以下内容,来自《HBase实战》阅读记录部分知识总结,以此分享。

1、关闭缓存

如果一张表和表里的列族只被顺序扫描访问或者很少被访问,不介意Get和Scan时间长些,可以选择关闭缓存,如果只是执行很多顺序扫描,将会多次倒腾缓存,并可能会滥用缓存并把应用放进获得性能提升的数据给排挤出去。

创建表时关闭:create 'mytable',{NAME => 'colfam1',BLOCKCACHE => 'false' }

2、激进缓存

选择一些列族,赋予它们在数据块缓存中更高的优先级,如果预期一个列族比另一个列族的随机读更多,这个特性迟早用得上。

创建设置:create 'mytable'.{NAME => 'colfam1',IN_MOMERY => 'true'}

3、布隆过滤器

存储一个多余索引,它随着行或列限定符的增加而增加。

create 'mytable',{NMAME => 'colfam1',BLOOMFILTER => 'ROWCOL'}

行级布隆过滤器:ROW

列限定符布隆过滤器:ROWCOL

设置生存时间(TTL)

create 'mytable',{ 'NAME' => 'colfam1', TTL => '18000'} //18000秒 5小时

4、压缩

推荐使用压缩,除非服务器CPU有限定要求。支持LZO、Snappy和GZIP。LZO和Snappy是比较流行的两种,Snappy是google发布,不必单独安装,LZO受源生路影响,必须单独运行。

create 'mytable',{ NAME => 'colfam1', COMPRSSION => 'SNAPPY'}

5、时间版本

hbase默认三个时间版本,建议设置为1个,

create 'mytable',{ NAME => 'colfam1', VERSION=> '1'}

如果现在存储的所有数据的时间版本都早于TTL,可设置MIN_VERSION,这样至少最新版本会保留下来。

create 'mytable',{ NAME => 'colfam1', VERSION=> '1',MIN_VERSION=> '1'}

 

© 著作权归作者所有

共有 人打赏支持
悲喜世界
粉丝 3
博文 22
码字总数 13860
作品 0
大兴
程序员
私信 提问
HBase实战 | Hive数据导入云HBase

网络环境 专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面,可直通hbase环境 公有云虚拟机VPC环境:选择和hbase通VPC 其他:需要开hbase公网 注意:默认导入hbase数据,依赖的hba...

hbase小能手
11/14
0
0
利用EMR Hive关联云HBase

云HBase需要借助外部Hive对多表进行关联分析,后续云HBase将集成Spark,更加建议使用Spark分析HBase数据。本文简单介绍下如何利用EMR的Hive关联云HBase的表。 1. 环境准备 购买按量计费的EMR...

巴客
10/14
0
0
技术大牛论道HBase 3.0 可能的新特性

本文内容根据第一届中国HBase技术社区上的演讲视频以及PPT整理而成。 其实,开源社区一直在反思为什么HBase 2.0经历了那么长的时间还是没有发布出来。社区也不希望在发布HBase 3.0版本的时候...

HBase技术社区
06/25
0
0
普及HBase,阿里云HBase团队在行动

一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起...

所在jason
05/23
0
0
云HBaseSQL及分析-Phoenix&Spark

在2018年1月的数据库直播大讲堂峰会HBase专场,来自阿里云的研发工程师瑾谦和沐远分享了云HBaseSQL以及分析Phoenix&Spark。本文介绍了详细了Phoinix和Spark的架构,适用性以及优缺点,并在最...

HBase技术社区
06/05
0
0

没有更多内容

加载失败,请刷新页面

加载更多

揭秘 | 双11逆天记录背后的数据库技术革新

摘要: 第十个天猫“双11”狂欢节圆满落幕,如今双11已不仅仅是天猫的盛会,更是阿里技术人的新年 每一个数字背后 都需要强大的技术支撑 Higher, Faster, Smarter 是我们不变的追求 技术无边...

阿里云云栖社区
21分钟前
4
0
element ui中的input组件不能监听键盘事件解决

vue使用element-ui的el-input监听不了键盘事件,原因应该是element-ui自身封装了一层div在input标签外面,把原来的事件隐藏了,所以如下代码运行是无响应的: <el-input v-model="search" p...

呵呵闯
24分钟前
3
0
Linux常用中间件启动命令

zookeeper redis lts

王桥修道院副院长
25分钟前
1
0
Kotlin极简教程中对? extends 和 ? super (out和int)的描述

PECS 现在问题来了:我们什么时候用extends什么时候用super呢?《Effective Java》给出了答案: PECS: producer-extends, consumer-super 比如,一个简单的Stack API: public class Stack<E...

SuShine
26分钟前
1
0
微信分享link问题

前提:公司业务,分享的页面需要自定义并且是一个固定页面 因此自定义分享link,这里存在一个问题,必须与安全域名一致,自不必说,而且这个link必须是当有协议的,也就是说不能写成locatio...

litCabbage
28分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部