剖析一下网盘秒传和改进

原创
2014/03/12 15:38
阅读数 548

用过很长一段时间各种网盘了,针对现有网盘的秒传功能,给大家大致说明一下原理:

秒传,真的传了么,没有,没有文件上传,那传的是什么?网盘怎么认了这个要上传的文件呢?这就要说道摘要算法(哈希算法),每个文件通过摘要算法,都可以生成一列数据,理想情况下,每个文件由于大小,内容,格式等原因,产生的摘要都是不相同的,所以,只要上传网盘之前,先在你电脑上对文件摘要一次,然后对网盘上所有已生成的摘要进行比较,如果相同,那必然就是你要上传的文件,这就秒传了。但现有实际效果并不理想,拿百度云来说,我就发现过秒传上去的东东下载回来不是原来的了,为什么?因为摘要算法也有可能重复。。。。虽然概率很小,但也是有可能的。

    现有常用的摘要算法比如MD5,sha1等等,列一下我用过的:

                待校验文件:d:/已整理需求列表.xlsx

 GOST3411哈希:3DDD8A87A66D404C2B7A357E234243FE81BBB561A0EE5FE6170E3A53FBEE42EE
 MD2哈希:1A23332A342C50C737319D138CFCB8DC
 MD4哈希:C8D3D29C8A148C3C67152987ED36A3C3
 MD5哈希:EA8313830A518CCD56487C5C342C3769
 RIPEMD128哈希:B12022EAAFAD0DC38637CB5DF310019C
 RIPEMD160哈希:E13E8D09DA2F8412157DC257806C8A4604E3EA5F
 RIPEMD256哈希:E0D2CCF0F59C60876E9E313E5E6728CAF8FE7188FB3485253938EB0C66C4E60E
 RIPEMD320哈希:BF5B95B0B385A927ECD0C26D0EE11FA39FBB93F306A5F1DB1284AE16C1890DD89D3E87E2C89D6530
 SHA1哈希:6F16680C6C63F532BD826C81A5EB3518412E19AD
 SHA224哈希:776AA9E86758277482BF2BB19E0E7C31D7180E767B1271ECE6083758
 SHA256哈希:14E7339F1F245AB734BF4BB55C8AD4ADF63A46F3B079BA281B30748C831DA40E
 SHA384哈希:15DEA65A130DCE8822CB1D154D40286F96BEF0B1BEE4466CBE590C6F91FA7AACE9D48DC1F4EA7879814CC22B31F77A2B
 SHA512哈希:514EEBDB9C8AECD0B39FF014C2E8D3134EE6BDE11543B729AAFB15C3F9C57D8371D78F93FCC76EA43102CDBE888027977CA33521AAA93B0EE6B55951502AF5E7
 SHA_512_224哈希:EA21C51720269983A9E3939B215BFDB88225DF8B3D2B4A13CCBB2D11
 SHA_512_256哈希:58CB7DF840571377DBCA2F8A550E7C7E31B537AEC2047D5798B28C2DB00FD09A
 SHA3_224哈希:F35D443973A1EDEE3C8C42C5A04F059C0ACC392D3EB839795FAEED08
 SHA3_256哈希:06063E843292582E472B7A83658DB8FB6DBD41C240CA7BCE98AA6476C6C8045D
 SHA3_384哈希:9E066691D86FF687A7763E042C379AA05A22CF8B8139714A6F238BB83EB59A2EAE0BF77C695716BFCB2C57A49E8ABEE7
 SHA3_512哈希:38B215A15097E3B10C20DEAF417CA4A36C5188975F5CCB9F2D747D31115B2B4CF61FBC7457138A4A385364DA6D2566CCF27E4C1C3620DF8553B51E638E86512B
 SM3哈希:2084851A346995D01877229ABC669AC414C6476D7F0C883DDC854D3F84D544B3
 Tiger哈希:5922E36B0F73E9F13EB25E5757CEF885F54515318518E568
 Whirlpool哈希:CBB37DC553AF4D592C0C49CE405C15878C80985EA538EEBDF0A2FD251854574A913C8A107D5151B3F2EB5636A4F7ADAC0278529FACE18A688C4A883C61258E74
 SKEIN_256_128哈希:2B0BA31E0EC9FC3FE9BEF621C5CC39D3
 SKEIN_256_160哈希:4AD86F7A984D973628FF32ABFC85E2C05F15D414
 SKEIN_256_224哈希:8E56942A29F1D697B0C65818BAB33939CF78B31238A4947508D7BF74
 SKEIN_256_256哈希:0084FD99C87BED12EE9B13037F186CAB6E9041BC50C66AD4ABDE37708599E7DB
 SKEIN_512_128哈希:9A7CFBE8E2C4711195F13882A7818CDA
 SKEIN_512_160哈希:7E3F48C4FAC924E3DF3B03406D285C092D1A0275
 SKEIN_512_256哈希:FCE97BF3C28071DDB2143D70DFC7885A6BDD833272F51C044C0B962142F5C593
 SKEIN_512_224哈希:C5788A11F18A877E9FA69336D1C3109447295B27AE8BE26425E92A3E
 SKEIN_512_384哈希:F8D8E12CEB7BCD2435A0DE7D88F0C11F080AE295D2B88614E93EC2084871F62ACEC82726ED2F25129440B10E11BF8511
 SKEIN_512_512哈希:6AAEA47F2284960A0375F26E26FB852B6736F7CA99C0B5ABDDF5A6F1CA81FDC2CF6AE19D66AFFC63E4A94E40D6C906EEEFEBFFC6B5EBCC4A3273B527A7598BAB
 SKEIN_1024_384哈希:2A90A107B2575C8F704F59DC0E8B24DD448C36A04CA64608A3979013D36615F0A2A00147D6347E15E79D475EF8D2AE28
 SKEIN_1024_512哈希:11E9BF69DDBCAFB17EF2E2FB1C2C8E36AC261A41F7DCA8F5E7FF70E9CDA710EE1CBBA148E7B4C308A9CA95C815A25F19299D6B8F8BBF947B1738F5C2EA7906AB
 SKEIN_1024_1024哈希:E123EA1B0E6330884F32E787A9BBC10C24638896C5D2F33EB30BC85BE9E08ABFAD1E1E27F9B7B03BD1BB8A2E23895F1D12BD2C3B24D9F1176DB432DFF7BBF384034DF6BDAAA6EA56429324DE863411B3FB25FAAFB81807C84464AF51EA7B030BF55541C79C5ECC941D3517458236D2324E590CED195C9DFA3BBDE574900AB754
 
 
 
 
 ;


    可以看出不同算法的摘要信息长度不同,网盘可以使用几个组合或者摘要长的算法作为文件定位标准。


    多说一句:这么多算法里面,推荐SM3算法,不为别的,这是国密算法,能有一个国产的算法真的不容易,支持一下。

展开阅读全文
打赏
0
14 收藏
分享
加载中
更多评论
打赏
0 评论
14 收藏
0
分享
返回顶部
顶部