文档章节

关于近期HBase系统设计开发和性能调优的一些小结

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 1729
阅读 13
收藏 0
点赞 0
评论 0

本文原文连接: http://blog.csdn.net/bluishglc/article/details/18811129,转载请注明出处!

1. 全局查询策略

 
应该一边倒地依赖索引进行查询,保证绝大多数的查询是秒级返回。尽量避免动用全表扫描,让全表扫描仅服务于非常有限的“生僻”查询!实现这种格局需要尽可能地保证索引轻量短小(尽量缩短字节),然后创建多倍于主数据的索引数据(我们基于配置创建索引的机制保证了增加一条索引的工作量是可以忽略不计的),让索引能覆盖绝大多数的查询。之所以这样做可行且高效是基于这样两点:一、在基于rowkey检索时HBase的性能是非常高的,完全不受数据条数的影响,我们基于索引的查询本质上是基于rowkey的查询,因此无论创建多少倍于主数据的索引数据都不会对性能产生明显影响。二、保持索引轻量短小是为了节约存储空间,降低全部数据的体量,同时也利于建立更多的索引。

2. 关于排序和结果集上限

类似于淘宝上的商品检索,可供排序的字段(人气,销量,信用,价格)和结果集上限(100页)是严格控制的,我们对排序和结果集上限也是有严格要求的,从实质上讲这些是所有分布式系统在进行全集计算时都会面临的问题(还有一个常见的问题就是join,join也是基于数据全集进行的计算)。对于我们系统的排序:由于一种索引只能指定一个排序字段,因此,可以查询的排序字段应该严格控制,尽量贴近实际需要选择最少的字段。体现到上层应用的UI上,就应像淘宝一样,将支持的排序字段以单选框方式列出供用户选择。对于结果集上限,过大的结果集在返回客户端后会导致OOME,为此我们提供了一个可配置的参数core.query.maxResultLimit,任何查询要求的上限如果超出了该值在执行前会抛出异常终止查询。

3. 数据体量和BlockCache

通过前一段时间的性能测试,关于BlockCache有如下结论:
当数据体量<BlockCache时,全部数据被加载到内存中,cache的命中率是100%,任何查询都将达到性能最优!
当数据体量>>(远大于)BlockCache时,在进行全表扫描时(默认情况下,scan时,scan到的数据会被加载到cache!),所有的数据都将遍历一边,它们依次被加载到cache里,然后在cache满时被后面加入的新数据替换出去,由于是全表扫描,超过cache数倍的数据会加载到内存然后再被替换出去,整个查询过程中cache在持续地颠簸,性能非常差,远远超过了关闭BlockCache时的全表扫描。为此我们提供了一个重要的配置参数:server.search.enableBlockCacheForSearch,部署时,若数据体量<BlockCache,设为true,若数据体量>>(远大于)BlockCache时,设为false

4. 为什么不在索引数据上冗余多余的列?


在索引数据上冗余其他列的初衷大概有这么两个方面:一是寄希望于冗余出的列支持更多条件的查询,二是过去添加索引需要建立一张单独的索引表,建立索引的成本(工作量)是很高的,为了能充分利用这张索引表都会冗余一些字段,基于这样一种惯性思维,也希望在新的索引机制下冗余字段。但实际上在新的索引机制下是完全不需要也应该再冗余多余列的,这是因为:首先,建立索引已经变得非常简单,索引的建立成本(工作量)是非常低的,所以不再需要在水平方向上“拉伸”索引,而是应该在垂直方向上“扩展”所引,也就是建立更多包含不同字段的索引。第二点,重复第一点的理由,通过冗余的列所支持到的查询不但可以完全使用新的索引来支持,且速度只会比这种方式更快,因为该方式在定位了索引之后还需要取出各个qualifier进行比对,性能比更长包含更多字段的索引而言差距是显而易见的。第三点:在使用索引检索时是先通过scan索引找到目标数据的rowkey然后发起一个二次的Get(HRegion不支持批量put)请求得到目标数据。如果寄希望通过多冗余几个字段,只scan索引数据而不去二次get主数据是不现实的,因为绝大部分的查询需要的是整条记录而不是一条记录中的某几个字段,除非索引冗余了全部列。

5.对多rowkey的批判


一旦在索引上打开冗余其他列的口子,为了支持更多的查询特别是迎合整条记录的返回,势必将冗余越来越多的列,最后的情形就是冗余了所有的列,一条索引数据变成了目标数据的全备份,不同之外只是换了另外一种形式的rowkey,这就是我给定义的“多rowkey"设计。“多rowkey"设计是一种笨重的,成本很高的索引方案,一个系统能不计代价地承受多少倍的冗余呢?“多rowkey"方案可以预见的结果是:翻了好几倍的存储空间,只能支持有限的几个查询, 利用率非低,成本太高。


6.若干技巧


1. 在取保可读性的前提下使得尽可能短的column family和qulifier名,以及字节较少的数据类型存储数据,(如:可以使用byte的就不要使用int!)以此来减少数据存储空间和传输速率,对系统整体性能的提升是有帮助的


2.如果节点数量为N,N是一个比较小的数值,而单个节点可以冗余N倍的数据话,就将hdf.replication设为N,这是保证本地化读取的最简单方法,可以有效地提升系统的性能。远期目标应该实现一个基于block进行本地化分配的LoadBalancer,特别是在region re-online的时候,这貌似是一个很基础的需求,不知hbase何会加入?

本文转载自:http://blog.csdn.net/bluishglc/article/details/18811129

共有 人打赏支持
猪刚烈
粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
兑吧:从自建HBase迁移到阿里云HBase实战经验

业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务。推啊网络是一家互动式广告平台,经过多年的探...

所在jason ⋅ 06/12 ⋅ 0

中国HBase技术社区第一届MeetUp-HBase2.0研讨圆桌会

HBase Committers&各公司HBase负责人 出席嘉宾(排名不分次序): 封神(HBase Committer,阿里) 天梧(HBase Committer,阿里) 陈恒(HBase Committer,蚂蚁金服) 李钰(HBase PMC,阿里) 王锋(奇...

wenzi0563 ⋅ 06/14 ⋅ 0

多位HBase Committer圆桌会,讨论HBase2.0技术变革

HBase Committers&各公司HBase负责人 出席嘉宾(排名不分次序): 封神(HBase Committer,阿里) 天梧(HBase Committer,阿里) 陈恒(HBase Committer,蚂蚁金服) 李钰(HBase PMC,阿里) 王锋(奇...

HBase技术社区 ⋅ 前天 ⋅ 0

分布式数据存储与管理[HDFS+HBase]

一、系统架构 在分布式存储领域,相信大多数人对HDFS(Hadoop Distributed File System)并不陌生,它是GFS(Google File System)的开源实现版本,解决大规模非结构化数据存储的问题。然而,...

u011459120 ⋅ 05/29 ⋅ 0

阿里HBase的数据管道设施实践与演进

摘要:第九届中国数据库技术大会,阿里巴巴技术专家孟庆义对阿里HBase的数据管道设施实践与演进进行了讲解。主要从数据导入场景、 HBase Bulkload功能、HImporter系统、数据导出场景、HExpo...

云迹九州 ⋅ 05/21 ⋅ 0

云HBaseSQL及分析-Phoenix&Spark

在2018年1月的数据库直播大讲堂峰会HBase专场,来自阿里云的研发工程师瑾谦和沐远分享了云HBaseSQL以及分析Phoenix&Spark。本文介绍了详细了Phoinix和Spark的架构,适用性以及优缺点,并在最...

HBase技术社区 ⋅ 06/05 ⋅ 0

普及HBase,阿里云HBase团队在行动

一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server上搭建起...

所在jason ⋅ 05/23 ⋅ 0

八年磨一剑,阿里云ApsaraDB for HBase2.0正式上线

一)HBase2.0和阿里云的前世今生 ApsaraDB for HBase2.0于2018年6月6日即将正式发布上线啦! 它是基于社区HBase2.0稳定版的升级,也是阿里HBase多年的实践经验和技术积累的持续延伸,全面解决...

天斯 ⋅ 06/05 ⋅ 0

企业打开云HBase的正确方式,来自阿里云云数据库团队的解读

摘要: 一、HBase的历史由来 HBase是一个开源的非关系型分布式数据库(NoSQL),基于谷歌的BigTable建模,是一个高可靠性、高性能、高伸缩的分布式存储系统,使用HBase技术可在廉价PC Server...

阿里云云栖社区 ⋅ 05/31 ⋅ 0

Hadoop、Spark、HBase与Redis的适用性见解

问题导读: 1.你认为Hadoop适用什么场景? 2.Spark适用于什么场景? 3.HBase与 Redis各有什么特点? 最近在网上又看到有关于Hadoop适用性的讨论[1]。想想今年大数据技术开始由互联网巨头走向...

cuiyaonan2000 ⋅ 05/07 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

Spring | IOC AOP 注解 简单使用

写在前面的话 很久没更新笔记了,有人会抱怨:小冯啊,你是不是在偷懒啊,没有学习了。老哥,真的冤枉:我觉得我自己很菜,还在努力学习呢,正在学习Vue.js做管理系统呢。即便这样,我还是不...

Wenyi_Feng ⋅ 今天 ⋅ 0

博客迁移到 https://www.jianshu.com/u/aa501451a235

博客迁移到 https://www.jianshu.com/u/aa501451a235 本博客不再更新

为为02 ⋅ 今天 ⋅ 0

win10怎么彻底关闭自动更新

win10自带的更新每天都很多,每一次下载都要占用大量网络,而且安装要等得时间也蛮久的。 工具/原料 Win10 方法/步骤 单击左下角开始菜单点击设置图标进入设置界面 在设置窗口中输入“服务”...

阿K1225 ⋅ 今天 ⋅ 0

Elasticsearch 6.3.0 SQL功能使用案例分享

The best elasticsearch highlevel java rest api-----bboss Elasticsearch 6.3.0 官方新推出的SQL检索插件非常不错,本文一个实际案例来介绍其使用方法。 1.代码中的sql检索 @Testpu...

bboss ⋅ 今天 ⋅ 0

informix数据库在linux中的安装以及用java/c/c++访问

一、安装前准备 安装JDK(略) 到IBM官网上下载informix软件:iif.12.10.FC9DE.linux-x86_64.tar放在某个大家都可以访问的目录比如:/mypkg,并解压到该目录下。 我也放到了百度云和天翼云上...

wangxuwei ⋅ 今天 ⋅ 0

PHP语言系统ZBLOG或许无法重现月光博客的闪耀历史[图]

最近在写博客,希望通过自己努力打造一个优秀的教育类主题博客,名动江湖,但是问题来了,现在写博客还有前途吗?面对强大的自媒体站点围剿,还有信心和可能型吗? 至于程序部分,我选择了P...

原创小博客 ⋅ 今天 ⋅ 0

IntelliJ IDEA 2018.1新特性

工欲善其事必先利其器,如果有一款IDE可以让你更高效地专注于开发以及源码阅读,为什么不试一试? 本文转载自:netty技术内幕 3月27日,jetbrains正式发布期待已久的IntelliJ IDEA 2018.1,再...

Romane ⋅ 今天 ⋅ 0

浅谈设计模式之工厂模式

工厂模式(Factory Pattern)是 Java 中最常用的设计模式之一。这种类型的设计模式属于创建型模式,它提供了一种创建对象的最佳方式。 在工厂模式中,我们在创建对象时不会对客户端暴露创建逻...

佛系程序猿灬 ⋅ 今天 ⋅ 0

Dockerfile基础命令总结

FROM 指定使用的基础base image FROM scratch # 制作base image ,不使用任何基础imageFROM centos # 使用base imageFROM ubuntu:14.04 尽量使用官方的base image,为了安全 LABEL 描述作...

ExtreU ⋅ 昨天 ⋅ 0

存储,对比私有云和公有云的不同

导读 说起公共存储,很难不与后网络公司时代的选择性外包联系起来,但尽管如此,它还是具备着简单和固有的可用性。公共存储的名字听起来也缺乏专有性,很像是把东西直接堆放在那里而不会得到...

问题终结者 ⋅ 昨天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部