文档章节

选择一种优秀的HASH算法

mickelfeng
 mickelfeng
发布于 2017/09/07 16:28
字数 1171
阅读 132
收藏 0

大约3年前,我在关于BloomFilter容量的研究一文中提到想研究一下各种HASH算法的速度。时至今日,一直没有动手去做。自我安慰地说,Premature Optimization是没有必要的,可能大多数HASH算法都差不多吧。但最近碰上了一个O(2n)问题,为解决它,我必须去设计一个尽可能高效的BloomFilter和HASH对象。HASH算法的选择就变得相当重要了。

 

首先,我做了一个Literature Review,研究了以下资料:

  • http://en.wikipedia.org/wiki/Jenkins_hash_function
    • http://www.burtleburtle.net/bob/hash/doobs.html
    • http://www.burtleburtle.net/bob/hash/spooky.html
  • http://en.wikipedia.org/wiki/Fowler_Noll_Vo_hash
    • http://www.isthe.com/chongo/tech/comp/fnv/index.html
  • http://en.wikipedia.org/wiki/CityHash
  • http://en.wikipedia.org/wiki/MurmurHash
  • http://programmers.stackexchange.com/a/145633/108318
  • http://www.drdobbs.com/parallel/fast-parallelized-crc-computation-using/229401411
  • http://stackoverflow.com/questions/17645167/implementing-sse-4-2s-crc32c-in-software

根据上述资料,备选的HASH可能是:

  • CityHash
  • SpookyHash
  • MurmurHash3
  • FNV Hash
  • CRC32/SSE4.2

以上绝大多数HASH的“官方”版本是C或者C++的。但我使用的语言是FreePascal。重写这些HASH是个不小的工作量。由于我开始入手研究的是lookup3这个HASH(也就是Spooky作者写的一个早期版本),加上FP已经内建了CRC32支持,我选择了以下几个算法进行测试:

  • lookup3(我这次研究的出发点)
  • crc32(FreePascal内置支持)
  • fnv1a(改写足够简单)
  • murmur2(以前有现成的Pascal代码)
  • crc128(FreePascal内置支持,可能需要128bit的HASH)
  • md5(同上)
  • sha1(同上)

执行循环一千万次后的结果如下(单位:秒):

  • lookup3:  3.027
  • crc32:  2.810
  • fnv1a:  4.185
  • murmur2:  2.128
  • crc128:  6.028
  • md5:  5.698
  • sha1:  7.692

对以上测试结果,我的解读如下:

  1. 测试结果只能作相对比较,因为测试程序的编写、测试数据的长度等等都是非常随意的。我的这次测试使用的是10个长整数,也就是40个字节的数据,共一千万个,使用EpikTimer对每次哈希运算进行计时然后累加。这样做可能引入EpikTimer本身带来的损耗,但不影响结论的相对比较价值。
  2. 32-bit的Hash中Murmur2的性能最好,依此推断,Murmur3的性能可能还要好一点。
  3. CRC32的性能相当不错,从简便性上看,它应该是最优选择了,因为FP天然就支持了。
  4. FP的CRC32使用了查表法,基本上是软件所能达到的CRC32最好性能了。但肯定比用SSE4.2的硬件指令的要慢。另外听说CityHash也会利用硬件特性来提速,这里就不加以测试了。
  5. 128-bit的算法“单位速度”明显好于32-bit的。例如MD5算法按32-bit的速度算只需1.507秒,远高于任何32-bit算法。在BloomFilter应用中可以将大HASH切分成若干小HASH使用,因此应该尽可能选择“单位速度”高的算法。
  6. 所测试的算法中单位速度最高的几个依次是:MD5、CRC128、SHA1、Murmur2、CRC32。综合考虑性能和使用的方便性、各种场合下的不同需求等,应使用FP内建支持的MD5、SHA1、Murmur2(或Murmur3)三种算法,若对速度要求不是很高,也可以使用CRC32。

 

后记

 

本文发布后一天,我继续进行HASH性能的研究,找到了smhasher项目。虽然它包含了详细的测试数据,但我还是想自己测一下。于是改写了它里面的MurmurHash3代码。得出的结果如下:

  1. Murmur3的32bit版本性能介乎CRC32和Murmur2之间,为2.5秒多一点。
  2. Murmur3的128bit版本性能惊人,比32bit更快一点,也就是说单位速度达32bit版本的4到5倍,可惜我改写的代码中还有BUG,和C的原版计算出来的值不同。暂时不能用。
  3. 从这次研究我的经验教训是,测试程序必须自己写而不能依赖他人公开的测试。以我这次为例,性能和公开可以查询到的结果有比较大的不同的原因我认为主要不是Pascal和C的区别,而是数据特性和统计方法所决定的。不管这种猜测是否正确,最后反应到实际应用中还是以硬的耗时指标说话,而不是每个hash运算消耗多少个CPU指令循环这样高深而学术化的衡量。

此次测试后,我仍然决定在未来的项目中优先使用FP内置的CRC32/MD5/SHA1系列算法。但会考虑研究测试一下基于SSE4.2指令集的版本,看看是否有性能优势。

本文转载自:http://blog.sina.com.cn/s/blog_b36b1ed90102v8ti.html

共有 人打赏支持
mickelfeng

mickelfeng

粉丝 231
博文 2690
码字总数 572815
作品 0
成都
高级程序员
私信 提问
双数组字典树关键词查询匹配和替换

大家在进行关键词匹配和替换的时候都是用的什么算法?很多人都可能有这样的需求,比如聊天文本中的敏感词替换、html文本中的关键词加超链接等。不深入技术算法和时刻关注程序性能的人来说,就...

银杏果果
2016/12/24
174
1
PHP中HASH函数的优化技巧

Hash数据结构是一种非常常见的数据结构,作为一个程序员,你可能每天都在和它接触, 尽管很多时候你可能没有意识到。Hash在PHP内核中扮演了非常重要的角色,数组、变量作用域、函数参数列表等...

ChefXu
2015/12/04
1K
4
索引初识一 MySql

1 mysql索引类型【主要分4类索引】 创建索引: 1.添加PRIMARY KEY(主键索引) 【主键:一种唯一性索引,必须指定为primary key 】 mysql> ALTER TABLE ADD PRIMARY KEY ( ) 2.添加UNIQUE(唯...

技术林工
2017/05/18
0
0
Map大家族的那点事儿(4) :HashMap – 为什么是hash?

原文出处:SylvanasSun's Blog HashMap 光从名字上应该也能猜到,HashMap肯定是基于hash算法实现的,这种基于hash实现的map叫做散列表(hash table)。 散列表中维护了一个数组,数组的每一个...

SylvanasSun's Blog
09/08
0
0
哈希结构是如何找到相对应的键-值对?

哈希结构作为一种抽象数据结构,Hash表的实现思路如下: 通过某种算法,在 键--值对的存储地址和 键--值对中的key之间,建立一种映射,使得每一个key,都有一个确定的存储地址于之对应。这种...

付翔
2009/09/10
0
0

没有更多内容

加载失败,请刷新页面

加载更多

python自然语言处理快速入门2常见的NLP操作

在本章中,我们将讨论我们文本数据进行的一些常见数据预处理操作,以适配典型的机器学习算法,如贝叶斯、决策树,逻辑回归等等。这些算法都只适用于数字向量,而不是文本。 那么我们如何将文...

python测试开发人工智能安全
17分钟前
0
0
OSChina 周一乱弹 —— 温柔的人应该这样

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @clouddyy :#每日一歌# 《フィクション-sumika》 《フィクション-sumika》 手机党少年们想听歌,请使劲儿戳(这里) 假期时间干嘛去, @for...

小小编辑
35分钟前
9
4
[LintCode] Serialize and Deserialize Binary Tree(二叉树的序列化和反序列化)

描述 设计一个算法,并编写代码来序列化和反序列化二叉树。将树写入一个文件被称为“序列化”,读取文件后重建同样的二叉树被称为“反序列化”。 如何反序列化或序列化二叉树是没有限制的,你...

honeymose
今天
6
0
java框架学习日志-7(静态代理和JDK代理)

静态代理 我们平时去餐厅吃饭,不是直接告诉厨师做什么菜的,而是先告诉服务员点什么菜,然后由服务员传到给厨师,相当于服务员是厨师的代理,我们通过代理让厨师炒菜,这就是代理模式。代理...

白话
今天
26
0
Flink Window

1.Flink窗口 Window Assigner分配器。 窗口可以是时间驱动的(Time Window,例如:每30秒钟),也可以是数据驱动的(Count Window,例如:每一百个元素)。 一种经典的窗口分类可以分成: 翻...

满小茂
今天
19
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部