文档章节

选择一种优秀的HASH算法

mickelfeng
 mickelfeng
发布于 2017/09/07 16:28
字数 1171
阅读 97
收藏 0

大约3年前,我在关于BloomFilter容量的研究一文中提到想研究一下各种HASH算法的速度。时至今日,一直没有动手去做。自我安慰地说,Premature Optimization是没有必要的,可能大多数HASH算法都差不多吧。但最近碰上了一个O(2n)问题,为解决它,我必须去设计一个尽可能高效的BloomFilter和HASH对象。HASH算法的选择就变得相当重要了。

 

首先,我做了一个Literature Review,研究了以下资料:

  • http://en.wikipedia.org/wiki/Jenkins_hash_function
    • http://www.burtleburtle.net/bob/hash/doobs.html
    • http://www.burtleburtle.net/bob/hash/spooky.html
  • http://en.wikipedia.org/wiki/Fowler_Noll_Vo_hash
    • http://www.isthe.com/chongo/tech/comp/fnv/index.html
  • http://en.wikipedia.org/wiki/CityHash
  • http://en.wikipedia.org/wiki/MurmurHash
  • http://programmers.stackexchange.com/a/145633/108318
  • http://www.drdobbs.com/parallel/fast-parallelized-crc-computation-using/229401411
  • http://stackoverflow.com/questions/17645167/implementing-sse-4-2s-crc32c-in-software

根据上述资料,备选的HASH可能是:

  • CityHash
  • SpookyHash
  • MurmurHash3
  • FNV Hash
  • CRC32/SSE4.2

以上绝大多数HASH的“官方”版本是C或者C++的。但我使用的语言是FreePascal。重写这些HASH是个不小的工作量。由于我开始入手研究的是lookup3这个HASH(也就是Spooky作者写的一个早期版本),加上FP已经内建了CRC32支持,我选择了以下几个算法进行测试:

  • lookup3(我这次研究的出发点)
  • crc32(FreePascal内置支持)
  • fnv1a(改写足够简单)
  • murmur2(以前有现成的Pascal代码)
  • crc128(FreePascal内置支持,可能需要128bit的HASH)
  • md5(同上)
  • sha1(同上)

执行循环一千万次后的结果如下(单位:秒):

  • lookup3:  3.027
  • crc32:  2.810
  • fnv1a:  4.185
  • murmur2:  2.128
  • crc128:  6.028
  • md5:  5.698
  • sha1:  7.692

对以上测试结果,我的解读如下:

  1. 测试结果只能作相对比较,因为测试程序的编写、测试数据的长度等等都是非常随意的。我的这次测试使用的是10个长整数,也就是40个字节的数据,共一千万个,使用EpikTimer对每次哈希运算进行计时然后累加。这样做可能引入EpikTimer本身带来的损耗,但不影响结论的相对比较价值。
  2. 32-bit的Hash中Murmur2的性能最好,依此推断,Murmur3的性能可能还要好一点。
  3. CRC32的性能相当不错,从简便性上看,它应该是最优选择了,因为FP天然就支持了。
  4. FP的CRC32使用了查表法,基本上是软件所能达到的CRC32最好性能了。但肯定比用SSE4.2的硬件指令的要慢。另外听说CityHash也会利用硬件特性来提速,这里就不加以测试了。
  5. 128-bit的算法“单位速度”明显好于32-bit的。例如MD5算法按32-bit的速度算只需1.507秒,远高于任何32-bit算法。在BloomFilter应用中可以将大HASH切分成若干小HASH使用,因此应该尽可能选择“单位速度”高的算法。
  6. 所测试的算法中单位速度最高的几个依次是:MD5、CRC128、SHA1、Murmur2、CRC32。综合考虑性能和使用的方便性、各种场合下的不同需求等,应使用FP内建支持的MD5、SHA1、Murmur2(或Murmur3)三种算法,若对速度要求不是很高,也可以使用CRC32。

 

后记

 

本文发布后一天,我继续进行HASH性能的研究,找到了smhasher项目。虽然它包含了详细的测试数据,但我还是想自己测一下。于是改写了它里面的MurmurHash3代码。得出的结果如下:

  1. Murmur3的32bit版本性能介乎CRC32和Murmur2之间,为2.5秒多一点。
  2. Murmur3的128bit版本性能惊人,比32bit更快一点,也就是说单位速度达32bit版本的4到5倍,可惜我改写的代码中还有BUG,和C的原版计算出来的值不同。暂时不能用。
  3. 从这次研究我的经验教训是,测试程序必须自己写而不能依赖他人公开的测试。以我这次为例,性能和公开可以查询到的结果有比较大的不同的原因我认为主要不是Pascal和C的区别,而是数据特性和统计方法所决定的。不管这种猜测是否正确,最后反应到实际应用中还是以硬的耗时指标说话,而不是每个hash运算消耗多少个CPU指令循环这样高深而学术化的衡量。

此次测试后,我仍然决定在未来的项目中优先使用FP内置的CRC32/MD5/SHA1系列算法。但会考虑研究测试一下基于SSE4.2指令集的版本,看看是否有性能优势。

本文转载自:http://blog.sina.com.cn/s/blog_b36b1ed90102v8ti.html

共有 人打赏支持
mickelfeng

mickelfeng

粉丝 227
博文 2635
码字总数 568692
作品 0
成都
高级程序员
双数组字典树关键词查询匹配和替换

大家在进行关键词匹配和替换的时候都是用的什么算法?很多人都可能有这样的需求,比如聊天文本中的敏感词替换、html文本中的关键词加超链接等。不深入技术算法和时刻关注程序性能的人来说,就...

BoXuan
2016/12/24
133
1
PHP中HASH函数的优化技巧

Hash数据结构是一种非常常见的数据结构,作为一个程序员,你可能每天都在和它接触, 尽管很多时候你可能没有意识到。Hash在PHP内核中扮演了非常重要的角色,数组、变量作用域、函数参数列表等...

ChefXu
2015/12/04
1K
4
索引初识一 MySql

1 mysql索引类型【主要分4类索引】 创建索引: 1.添加PRIMARY KEY(主键索引) 【主键:一种唯一性索引,必须指定为primary key 】 mysql> ALTER TABLE ADD PRIMARY KEY ( ) 2.添加UNIQUE(唯...

技术林工
2017/05/18
0
0
Map大家族的那点事儿(4) :HashMap – 为什么是hash?

原文出处:SylvanasSun's Blog HashMap 光从名字上应该也能猜到,HashMap肯定是基于hash算法实现的,这种基于hash实现的map叫做散列表(hash table)。 散列表中维护了一个数组,数组的每一个...

SylvanasSun's Blog
09/08
0
0
哈希结构是如何找到相对应的键-值对?

哈希结构作为一种抽象数据结构,Hash表的实现思路如下: 通过某种算法,在 键--值对的存储地址和 键--值对中的key之间,建立一种映射,使得每一个key,都有一个确定的存储地址于之对应。这种...

付翔
2009/09/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

原型模式

1、原型模式-定义 用原型实例指定创建对象的种类,并且通过拷贝这些原型创建新的对象 克隆(浅度克隆->拷贝值类型或者引用,深度克隆->创建新的对象,开辟新的内存) 例如客户端知道抽象Pro...

阿元
今天
28
0
awk命令扩展使用操作

awk 中使用外部shell变量 示例1 [root@centos01 t1022]# A=888[root@centos01 t1022]# echo "" | awk -v GET_A=$A '{print GET_A}'888[root@centos01 t1022]# echo "aaaaaaaaaaaaa" | aw......

野雪球
今天
26
0
深入解析MySQL视图VIEW

Q:什么是视图?视图是干什么用的? A:视图(view)是一种虚拟存在的表,是一个逻辑表,本身并不包含数据。作为一个select语句保存在数据字典中的。   通过视图,可以展现基表的部分数据;...

IT--小哥
今天
33
0
虚拟机学习之二:垃圾收集器和内存分配策略

1.对象是否可回收 1.1引用计数算法 引用计数算法:给对象中添加一个引用计数器,每当有一个地方引用它时,计数器值就加1;当引用失效时,计数器值就减1;任何时候计数器值为0的对象就是不可能...

贾峰uk
今天
20
0
smart-doc功能使用介绍

smart-doc从8月份底开始开源发布到目前为止已经迭代了几个版本。在这里非常感谢那些敢于用smart-doc去做尝试并积极提出建议的社区用户。因此决定在本博客中重要说明下smart-doc的功能,包括使...

上官胡闹
昨天
32
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部