文档章节

论hbase创建优化

悲喜世界
 悲喜世界
发布于 2018/01/23 17:28
字数 427
阅读 17
收藏 0

每周一篇博文,坚持自我提升。

以下内容,来自《HBase实战》阅读记录部分知识总结,以此分享。

1、关闭缓存

如果一张表和表里的列族只被顺序扫描访问或者很少被访问,不介意Get和Scan时间长些,可以选择关闭缓存,如果只是执行很多顺序扫描,将会多次倒腾缓存,并可能会滥用缓存并把应用放进获得性能提升的数据给排挤出去。

创建表时关闭:create 'mytable',{NAME => 'colfam1',BLOCKCACHE => 'false' }

2、激进缓存

选择一些列族,赋予它们在数据块缓存中更高的优先级,如果预期一个列族比另一个列族的随机读更多,这个特性迟早用得上。

创建设置:create 'mytable'.{NAME => 'colfam1',IN_MOMERY => 'true'}

3、布隆过滤器

存储一个多余索引,它随着行或列限定符的增加而增加。

create 'mytable',{NMAME => 'colfam1',BLOOMFILTER => 'ROWCOL'}

行级布隆过滤器:ROW

列限定符布隆过滤器:ROWCOL

设置生存时间(TTL)

create 'mytable',{ 'NAME' => 'colfam1', TTL => '18000'} //18000秒 5小时

4、压缩

推荐使用压缩,除非服务器CPU有限定要求。支持LZO、Snappy和GZIP。LZO和Snappy是比较流行的两种,Snappy是google发布,不必单独安装,LZO受源生路影响,必须单独运行。

create 'mytable',{ NAME => 'colfam1', COMPRSSION => 'SNAPPY'}

5、时间版本

hbase默认三个时间版本,建议设置为1个,

create 'mytable',{ NAME => 'colfam1', VERSION=> '1'}

如果现在存储的所有数据的时间版本都早于TTL,可设置MIN_VERSION,这样至少最新版本会保留下来。

create 'mytable',{ NAME => 'colfam1', VERSION=> '1',MIN_VERSION=> '1'}

 

© 著作权归作者所有

共有 人打赏支持
悲喜世界
粉丝 3
博文 25
码字总数 14973
作品 0
海淀
程序员
私信 提问
hbase 数据库简介安装与常用命令的使用

一:hbase 简介与架构功能 二:hbase 安装与配置 三:hbase 常见shell 命令操作 一:hbase 简介与架构功能 1.1 为什么要使用hbase 数据库 1.2 hbase 简介: 1.3 HBase与Hadoop的对比 1.4 HB...

flyfish225
2018/04/12
0
0
Apache HBase v1.3 发布,分布式数据库

Apache HBase v1.3 发布了。 值得关注的新特性: 基于日期的分层压缩 (HBASE-15181, HBASE-15339) HBase客户端应用程序的 Maven 原型 (HBASE-14877) 用于刷新的吞吐量控制器 (HBASE-14969) ...

局长
2017/01/18
2.1K
1
HBase实战 | Hive数据导入云HBase

网络环境 专线:用户需要把hbase集群的VPC相关网络信息配置到专线里面,可直通hbase环境 公有云虚拟机VPC环境:选择和hbase通VPC 其他:需要开hbase公网 注意:默认导入hbase数据,依赖的hba...

hbase小能手
2018/11/14
0
0
docker入门到实战(9)docker快速安装hbase

下载镜像 docker pull harisekhon/hbase 运行容器 docker run -ti harisekhon/hbase当你执行成功之后直接进入hbase shell,慢慢享用吧 使用hbase 退出容器后,下次再进入可以使用 docker exe...

编程老司机
2018/05/14
0
0
HBase常用操作之namespace

1、介绍 在HBase中,namespace命名空间指对一组表的逻辑分组,类似RDBMS中的database,方便对表在业务上划分。Apache HBase从0.98.0, 0.95.2两个版本开始支持namespace级别的授权操作,HBase...

dragon_tech
01/08
0
0

没有更多内容

加载失败,请刷新页面

加载更多

如何在 Linux 系统查询机器最近重启时间

在你的 Linux 或类 UNIX 系统中,你是如何查询系统上次重新启动的日期和时间?怎样显示系统关机的日期和时间? last 命令不仅可以按照时间从近到远的顺序列出该会话的特定用户、终端和主机名...

来来来来来
30分钟前
0
0
Redis协议是什么样的

前言 我们用过很多redis的客户端,有没有相过自己撸一个redis客户端? 其实很简单,基于socket,监听6379端口,解析数据就可以了。 redis协议 解析数据的过程主要依赖于redis的协议了。 我们...

春哥大魔王的博客
47分钟前
2
0
乱入Linux界的我是如何学习的

欢迎来到建哥学Linux,咳!咳!咳!开个玩笑哈,我是一个IT男,IT界的入门选手,正在学习Linux。 在之前,一直想进军IT界,学习IT技术,但是苦于没有人指导,也不知道学什么,最开始我自己在...

linuxCool
今天
1
0
携程Apollo统一配置中心的搭建和使用(java)

一.Apollo配置中心介绍 1、What is Apollo 1.1 Apollo简介 Apollo(阿波罗)是携程框架部门研发的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到...

morpheusWB
今天
1
0
远程获得的有趣的linux命令

使用这些工具从远程了解天气、阅读资料等。 我们即将结束为期 24 天的 Linux 命令行玩具日历。希望你有一直在看,如果没有,请回到开始,从头看过来。你会发现 Linux 终端有很多游戏、消遣和...

Linux就该这么学
今天
6
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部