文档章节

关于近期HBase系统设计开发和性能调优的一些小结

猪刚烈
 猪刚烈
发布于 2014/10/12 11:40
字数 1729
阅读 15
收藏 0

本文原文连接: http://blog.csdn.net/bluishglc/article/details/18811129,转载请注明出处!

1. 全局查询策略

 
应该一边倒地依赖索引进行查询,保证绝大多数的查询是秒级返回。尽量避免动用全表扫描,让全表扫描仅服务于非常有限的“生僻”查询!实现这种格局需要尽可能地保证索引轻量短小(尽量缩短字节),然后创建多倍于主数据的索引数据(我们基于配置创建索引的机制保证了增加一条索引的工作量是可以忽略不计的),让索引能覆盖绝大多数的查询。之所以这样做可行且高效是基于这样两点:一、在基于rowkey检索时HBase的性能是非常高的,完全不受数据条数的影响,我们基于索引的查询本质上是基于rowkey的查询,因此无论创建多少倍于主数据的索引数据都不会对性能产生明显影响。二、保持索引轻量短小是为了节约存储空间,降低全部数据的体量,同时也利于建立更多的索引。

2. 关于排序和结果集上限

类似于淘宝上的商品检索,可供排序的字段(人气,销量,信用,价格)和结果集上限(100页)是严格控制的,我们对排序和结果集上限也是有严格要求的,从实质上讲这些是所有分布式系统在进行全集计算时都会面临的问题(还有一个常见的问题就是join,join也是基于数据全集进行的计算)。对于我们系统的排序:由于一种索引只能指定一个排序字段,因此,可以查询的排序字段应该严格控制,尽量贴近实际需要选择最少的字段。体现到上层应用的UI上,就应像淘宝一样,将支持的排序字段以单选框方式列出供用户选择。对于结果集上限,过大的结果集在返回客户端后会导致OOME,为此我们提供了一个可配置的参数core.query.maxResultLimit,任何查询要求的上限如果超出了该值在执行前会抛出异常终止查询。

3. 数据体量和BlockCache

通过前一段时间的性能测试,关于BlockCache有如下结论:
当数据体量<BlockCache时,全部数据被加载到内存中,cache的命中率是100%,任何查询都将达到性能最优!
当数据体量>>(远大于)BlockCache时,在进行全表扫描时(默认情况下,scan时,scan到的数据会被加载到cache!),所有的数据都将遍历一边,它们依次被加载到cache里,然后在cache满时被后面加入的新数据替换出去,由于是全表扫描,超过cache数倍的数据会加载到内存然后再被替换出去,整个查询过程中cache在持续地颠簸,性能非常差,远远超过了关闭BlockCache时的全表扫描。为此我们提供了一个重要的配置参数:server.search.enableBlockCacheForSearch,部署时,若数据体量<BlockCache,设为true,若数据体量>>(远大于)BlockCache时,设为false

4. 为什么不在索引数据上冗余多余的列?


在索引数据上冗余其他列的初衷大概有这么两个方面:一是寄希望于冗余出的列支持更多条件的查询,二是过去添加索引需要建立一张单独的索引表,建立索引的成本(工作量)是很高的,为了能充分利用这张索引表都会冗余一些字段,基于这样一种惯性思维,也希望在新的索引机制下冗余字段。但实际上在新的索引机制下是完全不需要也应该再冗余多余列的,这是因为:首先,建立索引已经变得非常简单,索引的建立成本(工作量)是非常低的,所以不再需要在水平方向上“拉伸”索引,而是应该在垂直方向上“扩展”所引,也就是建立更多包含不同字段的索引。第二点,重复第一点的理由,通过冗余的列所支持到的查询不但可以完全使用新的索引来支持,且速度只会比这种方式更快,因为该方式在定位了索引之后还需要取出各个qualifier进行比对,性能比更长包含更多字段的索引而言差距是显而易见的。第三点:在使用索引检索时是先通过scan索引找到目标数据的rowkey然后发起一个二次的Get(HRegion不支持批量put)请求得到目标数据。如果寄希望通过多冗余几个字段,只scan索引数据而不去二次get主数据是不现实的,因为绝大部分的查询需要的是整条记录而不是一条记录中的某几个字段,除非索引冗余了全部列。

5.对多rowkey的批判


一旦在索引上打开冗余其他列的口子,为了支持更多的查询特别是迎合整条记录的返回,势必将冗余越来越多的列,最后的情形就是冗余了所有的列,一条索引数据变成了目标数据的全备份,不同之外只是换了另外一种形式的rowkey,这就是我给定义的“多rowkey"设计。“多rowkey"设计是一种笨重的,成本很高的索引方案,一个系统能不计代价地承受多少倍的冗余呢?“多rowkey"方案可以预见的结果是:翻了好几倍的存储空间,只能支持有限的几个查询, 利用率非低,成本太高。


6.若干技巧


1. 在取保可读性的前提下使得尽可能短的column family和qulifier名,以及字节较少的数据类型存储数据,(如:可以使用byte的就不要使用int!)以此来减少数据存储空间和传输速率,对系统整体性能的提升是有帮助的


2.如果节点数量为N,N是一个比较小的数值,而单个节点可以冗余N倍的数据话,就将hdf.replication设为N,这是保证本地化读取的最简单方法,可以有效地提升系统的性能。远期目标应该实现一个基于block进行本地化分配的LoadBalancer,特别是在region re-online的时候,这貌似是一个很基础的需求,不知hbase何会加入?

本文转载自:http://blog.csdn.net/bluishglc/article/details/18811129

共有 人打赏支持
猪刚烈
粉丝 22
博文 708
码字总数 110
作品 1
海淀
程序员
私信 提问
基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南

(WJW)基于外部ZooKeeper的GlusterFS作为分布式文件系统的完全分布式HBase集群安装指南 [X] 前提条件 + 服务器列表: #hbase-master #hbase-regionserver,zookeeper #hbase-regionserver,zooke...

白石
2015/01/06
0
1
Hadoop、Pig、Hive、Storm、NoSQL 学习资源收集【Updating】

(一)hadoop 相关安装部署 1、hadoop在windows cygwin下的部署: http://lib.open-open.com/view/1333428291655 http://blog.csdn.net/ruby97/article/details/7423088 http://blog.csdn.n......

大数据之路
2013/06/25
0
3
Hbase原理以及基本运行方式和优化

HBase是一个构建在HDFS上的分布式列存储系统; HBase是基于Google BigTable模型开发的,典型的key/value系统; HBase是Apache Hadoop生态系统中的重要一员,主要用于海量非结构化数据存储; ...

脸大的都是胖纸
2015/07/06
0
0
HBase 在淘宝的应用和优化小结

本文来自于NoSQLFan联合作者@koven2049,他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解,本文就是其在工作中对HBase的应用优化小结,分享给大家。 原文地址:h...

阿酷
2012/03/08
2.2K
2
HBase读写优化N条实用技巧

最近spark跑的很慢,主要时间在scan hbase上。来来回回调试了挺长时间,最后确定瓶颈在AWS EBS的磁盘I/O(跑spark时IOPS爆到1500),所以实际上也没有太多调优可以做。倒是调试过程中看了许多文...

princeicelk
2016/07/28
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Deepin 安装wireshark抓包工具

一、关于deepin和wireshark deepin目前已经发展到15.8了,开发Android毫无压力,在四个月的使用时间里,已经非常习惯了。目前想处理一些网络问题,因此尝试在deepin上安装一个抓包工具。dee...

IamOkay
9分钟前
0
0
Docker镜像仓库服务-Nexus

建立云原生集群系统,建立自己的私有Docker镜像仓库必不可少。一方面可以加快多节点部署容器镜像的下载速度,另一方面是为了安全(容器里存储有系统所有的信息、包括密码、数据库等等,切记不...

openthings
21分钟前
0
0
127.0.0.1 和 0.0.0.0 地址的区别

1. IP地址分类 1.1 IP地址表示 IP地址由两个部分组成,net-id和host-id,即网络号和主机号。 net-id:表示ip地址所在的网络号。 host-id:表示ip地址所在网络中的某个主机号码。 即: IP-a...

华山猛男
今天
17
0
解决Unknown host 'd29vzk4ow07wi7.cloudfront.net'. You may need to adjust the proxy settings in Gradle.

把 总项目 下的 build.gradle 中的 两个 jcenter() 用 maven{ url ‘http://maven.aliyun.com/nexus/content/groups/public/’} 代替。...

lanyu96
今天
4
0
基于redis的分布式锁

redisson提供了基于redis的分布式锁实现方式,本文就尝试了下锁的使用方式。Redisson同时还为分布式锁提供了异步执行的相关方法,第二节执行介绍。 一、可重入锁验证 同一个jvm里面同一线程的...

noob_chr
今天
12
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部