文档章节

关于近期HBase系统设计开发和性能调优的一些小结

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 1729
阅读 13
收藏 0

本文原文连接: http://blog.csdn.net/bluishglc/article/details/18811129,转载请注明出处!

1. 全局查询策略

 
应该一边倒地依赖索引进行查询,保证绝大多数的查询是秒级返回。尽量避免动用全表扫描,让全表扫描仅服务于非常有限的“生僻”查询!实现这种格局需要尽可能地保证索引轻量短小(尽量缩短字节),然后创建多倍于主数据的索引数据(我们基于配置创建索引的机制保证了增加一条索引的工作量是可以忽略不计的),让索引能覆盖绝大多数的查询。之所以这样做可行且高效是基于这样两点:一、在基于rowkey检索时HBase的性能是非常高的,完全不受数据条数的影响,我们基于索引的查询本质上是基于rowkey的查询,因此无论创建多少倍于主数据的索引数据都不会对性能产生明显影响。二、保持索引轻量短小是为了节约存储空间,降低全部数据的体量,同时也利于建立更多的索引。

2. 关于排序和结果集上限

类似于淘宝上的商品检索,可供排序的字段(人气,销量,信用,价格)和结果集上限(100页)是严格控制的,我们对排序和结果集上限也是有严格要求的,从实质上讲这些是所有分布式系统在进行全集计算时都会面临的问题(还有一个常见的问题就是join,join也是基于数据全集进行的计算)。对于我们系统的排序:由于一种索引只能指定一个排序字段,因此,可以查询的排序字段应该严格控制,尽量贴近实际需要选择最少的字段。体现到上层应用的UI上,就应像淘宝一样,将支持的排序字段以单选框方式列出供用户选择。对于结果集上限,过大的结果集在返回客户端后会导致OOME,为此我们提供了一个可配置的参数core.query.maxResultLimit,任何查询要求的上限如果超出了该值在执行前会抛出异常终止查询。

3. 数据体量和BlockCache

通过前一段时间的性能测试,关于BlockCache有如下结论:
当数据体量<BlockCache时,全部数据被加载到内存中,cache的命中率是100%,任何查询都将达到性能最优!
当数据体量>>(远大于)BlockCache时,在进行全表扫描时(默认情况下,scan时,scan到的数据会被加载到cache!),所有的数据都将遍历一边,它们依次被加载到cache里,然后在cache满时被后面加入的新数据替换出去,由于是全表扫描,超过cache数倍的数据会加载到内存然后再被替换出去,整个查询过程中cache在持续地颠簸,性能非常差,远远超过了关闭BlockCache时的全表扫描。为此我们提供了一个重要的配置参数:server.search.enableBlockCacheForSearch,部署时,若数据体量<BlockCache,设为true,若数据体量>>(远大于)BlockCache时,设为false

4. 为什么不在索引数据上冗余多余的列?


在索引数据上冗余其他列的初衷大概有这么两个方面:一是寄希望于冗余出的列支持更多条件的查询,二是过去添加索引需要建立一张单独的索引表,建立索引的成本(工作量)是很高的,为了能充分利用这张索引表都会冗余一些字段,基于这样一种惯性思维,也希望在新的索引机制下冗余字段。但实际上在新的索引机制下是完全不需要也应该再冗余多余列的,这是因为:首先,建立索引已经变得非常简单,索引的建立成本(工作量)是非常低的,所以不再需要在水平方向上“拉伸”索引,而是应该在垂直方向上“扩展”所引,也就是建立更多包含不同字段的索引。第二点,重复第一点的理由,通过冗余的列所支持到的查询不但可以完全使用新的索引来支持,且速度只会比这种方式更快,因为该方式在定位了索引之后还需要取出各个qualifier进行比对,性能比更长包含更多字段的索引而言差距是显而易见的。第三点:在使用索引检索时是先通过scan索引找到目标数据的rowkey然后发起一个二次的Get(HRegion不支持批量put)请求得到目标数据。如果寄希望通过多冗余几个字段,只scan索引数据而不去二次get主数据是不现实的,因为绝大部分的查询需要的是整条记录而不是一条记录中的某几个字段,除非索引冗余了全部列。

5.对多rowkey的批判


一旦在索引上打开冗余其他列的口子,为了支持更多的查询特别是迎合整条记录的返回,势必将冗余越来越多的列,最后的情形就是冗余了所有的列,一条索引数据变成了目标数据的全备份,不同之外只是换了另外一种形式的rowkey,这就是我给定义的“多rowkey"设计。“多rowkey"设计是一种笨重的,成本很高的索引方案,一个系统能不计代价地承受多少倍的冗余呢?“多rowkey"方案可以预见的结果是:翻了好几倍的存储空间,只能支持有限的几个查询, 利用率非低,成本太高。


6.若干技巧


1. 在取保可读性的前提下使得尽可能短的column family和qulifier名,以及字节较少的数据类型存储数据,(如:可以使用byte的就不要使用int!)以此来减少数据存储空间和传输速率,对系统整体性能的提升是有帮助的


2.如果节点数量为N,N是一个比较小的数值,而单个节点可以冗余N倍的数据话,就将hdf.replication设为N,这是保证本地化读取的最简单方法,可以有效地提升系统的性能。远期目标应该实现一个基于block进行本地化分配的LoadBalancer,特别是在region re-online的时候,这貌似是一个很基础的需求,不知hbase何会加入?

本文转载自:http://blog.csdn.net/bluishglc/article/details/18811129

共有 人打赏支持
猪刚烈
粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南

(WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 [X] 前提条件 + 服务器列表: #hbase-master #hbase-regionserver,zookeeper #hbase-regionserver,zooke...

白石
2015/01/06
0
1
兑吧:从自建HBase迁移到阿里云HBase实战经验

业务介绍 兑吧集团包含兑吧网络和推啊网络,兑吧网络是一家致力于帮助互联网企业提升运营效率的用户运营服务平台,提供积分商城和媒体运营服务。推啊网络是一家互动式广告平台,经过多年的探...

所在jason
06/12
0
0
Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Updating】

(一)hadoop 相关安装部署 1、hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655 http://blog.csdn.net/ruby97/article/details/7423088 http://blog.csdn.n......

大数据之路
2013/06/25
0
3
Hive查询HBase调用MapReduce性能优化

折腾了很久,被领导天天督促&指点,算是有个最基本的性能优化。 1. 背景介绍: Hive使用hive-hbase-handler建立HBase external table。在hive查询包含count(*)、join、以及Predicate Pushdow...

orisonchan
08/09
0
0
中国HBase技术社区第二届MeetUp ——HBase技术解析及应用实践

活动内容 HBase—Hadoop Database是一个分布式的、面向列的开源数据库,该技术来源于 Fay Chang 所撰写的Google论文“Bigtable:一个结构化数据的分布式存储系统”。HBase的特点是高可靠性、...

云hbase
07/06
0
0

没有更多内容

加载失败,请刷新页面

加载更多

通过ajax访问远程天气预报服务

http://www.webxml.com.cn/zh_cn/index.aspx 更改wsdl文件 打开文件将15行,51行,101行去掉 然后把文件复制到c盘 然后在桌面上面就生成了文件 将文件打成jar包 package cn.it.ws.weather;...

江戸川
今天
1
0
聊聊storm的tickTuple

序 本文主要研究一下storm的tickTuple 实例 TickWordCountBolt public class TickWordCountBolt extends BaseBasicBolt { private static final Logger LOGGER = LoggerFactory.getLogg......

go4it
今天
1
0
自动装箱和自动拆箱

自动装箱和自动拆箱 Java 提供了 8 种基本数据类型,每种数据类型都有其对应的包装类型,包装类是面向对象的类,是一种高级的数据类型,可以进行一些比较复杂的操作,它们是引用类型而不再基...

tsmyk0715
今天
2
0
简易审计系统

1、有时候我们需要对线上用户的操作进行记录,可以进行追踪,出现问题追究责任,但是linux自带的history并不会实时的记录(仅仅在内存中,当用户正常退出(exit logout )时才会记录到history文件里...

芬野de博客
今天
3
0
Qt那些事0.0.6

QML中使用Image,在设置source的后,通过Qt Quick2 Preview(qmlscene)遇到了图片找不到的问题: Image { id: success_img anchors.centerIn: parent ...

Ev4n
今天
3
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部