文档章节

选择一种优秀的HASH算法

mickelfeng
 mickelfeng
发布于 2017/09/07 16:28
字数 1171
阅读 642
收藏 0

大约3年前,我在关于BloomFilter容量的研究一文中提到想研究一下各种HASH算法的速度。时至今日,一直没有动手去做。自我安慰地说,Premature Optimization是没有必要的,可能大多数HASH算法都差不多吧。但最近碰上了一个O(2n)问题,为解决它,我必须去设计一个尽可能高效的BloomFilter和HASH对象。HASH算法的选择就变得相当重要了。

 

首先,我做了一个Literature Review,研究了以下资料:

  • http://en.wikipedia.org/wiki/Jenkins_hash_function
    • http://www.burtleburtle.net/bob/hash/doobs.html
    • http://www.burtleburtle.net/bob/hash/spooky.html
  • http://en.wikipedia.org/wiki/Fowler_Noll_Vo_hash
    • http://www.isthe.com/chongo/tech/comp/fnv/index.html
  • http://en.wikipedia.org/wiki/CityHash
  • http://en.wikipedia.org/wiki/MurmurHash
  • http://programmers.stackexchange.com/a/145633/108318
  • http://www.drdobbs.com/parallel/fast-parallelized-crc-computation-using/229401411
  • http://stackoverflow.com/questions/17645167/implementing-sse-4-2s-crc32c-in-software

根据上述资料,备选的HASH可能是:

  • CityHash
  • SpookyHash
  • MurmurHash3
  • FNV Hash
  • CRC32/SSE4.2

以上绝大多数HASH的“官方”版本是C或者C++的。但我使用的语言是FreePascal。重写这些HASH是个不小的工作量。由于我开始入手研究的是lookup3这个HASH(也就是Spooky作者写的一个早期版本),加上FP已经内建了CRC32支持,我选择了以下几个算法进行测试:

  • lookup3(我这次研究的出发点)
  • crc32(FreePascal内置支持)
  • fnv1a(改写足够简单)
  • murmur2(以前有现成的Pascal代码)
  • crc128(FreePascal内置支持,可能需要128bit的HASH)
  • md5(同上)
  • sha1(同上)

执行循环一千万次后的结果如下(单位:秒):

  • lookup3:  3.027
  • crc32:  2.810
  • fnv1a:  4.185
  • murmur2:  2.128
  • crc128:  6.028
  • md5:  5.698
  • sha1:  7.692

对以上测试结果,我的解读如下:

  1. 测试结果只能作相对比较,因为测试程序的编写、测试数据的长度等等都是非常随意的。我的这次测试使用的是10个长整数,也就是40个字节的数据,共一千万个,使用EpikTimer对每次哈希运算进行计时然后累加。这样做可能引入EpikTimer本身带来的损耗,但不影响结论的相对比较价值。
  2. 32-bit的Hash中Murmur2的性能最好,依此推断,Murmur3的性能可能还要好一点。
  3. CRC32的性能相当不错,从简便性上看,它应该是最优选择了,因为FP天然就支持了。
  4. FP的CRC32使用了查表法,基本上是软件所能达到的CRC32最好性能了。但肯定比用SSE4.2的硬件指令的要慢。另外听说CityHash也会利用硬件特性来提速,这里就不加以测试了。
  5. 128-bit的算法“单位速度”明显好于32-bit的。例如MD5算法按32-bit的速度算只需1.507秒,远高于任何32-bit算法。在BloomFilter应用中可以将大HASH切分成若干小HASH使用,因此应该尽可能选择“单位速度”高的算法。
  6. 所测试的算法中单位速度最高的几个依次是:MD5、CRC128、SHA1、Murmur2、CRC32。综合考虑性能和使用的方便性、各种场合下的不同需求等,应使用FP内建支持的MD5、SHA1、Murmur2(或Murmur3)三种算法,若对速度要求不是很高,也可以使用CRC32。

 

后记

 

本文发布后一天,我继续进行HASH性能的研究,找到了smhasher项目。虽然它包含了详细的测试数据,但我还是想自己测一下。于是改写了它里面的MurmurHash3代码。得出的结果如下:

  1. Murmur3的32bit版本性能介乎CRC32和Murmur2之间,为2.5秒多一点。
  2. Murmur3的128bit版本性能惊人,比32bit更快一点,也就是说单位速度达32bit版本的4到5倍,可惜我改写的代码中还有BUG,和C的原版计算出来的值不同。暂时不能用。
  3. 从这次研究我的经验教训是,测试程序必须自己写而不能依赖他人公开的测试。以我这次为例,性能和公开可以查询到的结果有比较大的不同的原因我认为主要不是Pascal和C的区别,而是数据特性和统计方法所决定的。不管这种猜测是否正确,最后反应到实际应用中还是以硬的耗时指标说话,而不是每个hash运算消耗多少个CPU指令循环这样高深而学术化的衡量。

此次测试后,我仍然决定在未来的项目中优先使用FP内置的CRC32/MD5/SHA1系列算法。但会考虑研究测试一下基于SSE4.2指令集的版本,看看是否有性能优势。

本文转载自:http://blog.sina.com.cn/s/blog_b36b1ed90102v8ti.html

mickelfeng

mickelfeng

粉丝 238
博文 2811
码字总数 607897
作品 0
成都
高级程序员
私信 提问
加载中

评论(0)

ELFhash - 优秀的字符串哈希算法

ELFhash - 优秀的字符串哈希算法 2016年10月29日 22:12:37 阅读数:6440更多 个人分类: 算法杂论 算法精讲 数据结构 所属专栏: 算法与数据结构 版权声明:本文为博主原创文章,未经博主允许...

osc_mo4m2o49
2018/09/11
2
0
区块链中的密码学(四)- Merkle树和SPV节点

什么是Merkle Tree? Merkle Tree 的命名来自于美国密码学家Ralph C. Merkle ,关于他的个人资料:传送门https://en.wikipedia.org/wiki/RalphMerkle。与前面讲的几种算法不同,Merkle Tree...

osc_avxkth26
2019/01/15
2
0
双数组字典树关键词查询匹配和替换

大家在进行关键词匹配和替换的时候都是用的什么算法?很多人都可能有这样的需求,比如聊天文本中的敏感词替换、html文本中的关键词加超链接等。不深入技术算法和时刻关注程序性能的人来说,就...

银杏果果
2016/12/24
428
1
索引初识一 MySql

1 mysql索引类型【主要分4类索引】 创建索引: 1.添加PRIMARY KEY(主键索引) 【主键:一种唯一性索引,必须指定为primary key 】 mysql> ALTER TABLE ADD PRIMARY KEY ( ) 2.添加UNIQUE(唯...

技术林工
2017/05/18
0
0
PHP中HASH函数的优化技巧

Hash数据结构是一种非常常见的数据结构,作为一个程序员,你可能每天都在和它接触, 尽管很多时候你可能没有意识到。Hash在PHP内核中扮演了非常重要的角色,数组、变量作用域、函数参数列表等...

ChefXu
2015/12/04
1.2K
4

没有更多内容

加载失败,请刷新页面

加载更多

智慧城市交通的要素:路口监管可视化系统的解决方案

前言 随着信息时代的发展变迁,荧幕里呈现的 智慧城市慢慢出现了在现实生活中,很大程度上便利了日常的管理和维护。在智慧城市的大背景下, 智慧交通监管可视化系统是其重要的组成部分,通过...

osc_b8epmas9
28分钟前
19
0
CPU上下文切换以及相关指标的理解

前言 上下文切换这个词一直不理解,看了无数遍就忘了无数遍,知道看到《操作系统导论》这本书,终于有了略微的理解。这也证明了我的方向是没错的,一直认为做运维还是得理解底层的知识,不理...

osc_n1x6m26g
30分钟前
23
0
记一次 React Native 大版本升级过程——从0.40到0.59

去年把公司几个react native 相关的项目升级了下,已经过去一段时间了,这里系统整理下之前的整个过程。 背景 之前到公司的时候发现公司用的还是0.40的版本,据了解,当时项目做的比较早,导...

osc_j34n26zn
30分钟前
13
0
谈谈压测

背景 随着业务不断发展,用户量不断增加,系统负载越来越高。为了解决系统负载问题,我们是不是直接大量增加机器就可以了? 同时,公司业务开展需要,可能需要开展各种营销活动,目前系统是否...

osc_cudh2wh2
32分钟前
19
0
scipy.sparse的一些整理

一、scipy.sparse中七种稀疏矩阵类型 1、bsr_matrix:分块压缩稀疏行格式 介绍   BSR矩阵中的inptr列表的第i个元素与i+1个元素是储存第i行的数据的列索引以及数据的区间索引,即indices[i...

osc_auwur47t
34分钟前
27
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部