文档章节

.NET中MD5编码的内存泄露问题分析

caltrop
 caltrop
发布于 2015/12/29 17:21
字数 873
阅读 2315
收藏 46

问题描述与定位

        最近一个项目中要加工处理700多万条的三元组数据,总是在执行到二三百万条的时候就报内存溢出了。不断的检查代码,各种对象局部化;使用.net profiler分析堆栈内存,发现有大量的String对象创建没有及时回收,于是对程序中各处的字符串拼接做了优化处理,但是结果不是很明显,还是会出现内存溢出的情况,只不过出现的晚一点。

        又经过反复的对代码段注释测试,最后定位到可能出现内存泄露的函数(被调用700万次以上)如下:

        public static string MD5Encode(string source)
        {
            if (string.IsNullOrEmpty(source))
                return source;

            MD5 md5 = new MD5CryptoServiceProvider();
            byte[] s = md5.ComputeHash(Encoding.UTF8.GetBytes(source));
            return BitConverter.ToString(s).Replace("-", "");
        }

        分别注释8、7、6行代码,发现只有md5对象的创建时候,还是会出现内存溢出。OK,最后确定造成内存泄露的对象就是MD5CryptoServiceProvider。

问题解决

        找到问题的原因了,就开始尝试解决办法,既然MD5CryptoServiceProvider对象的创建会造成内存泄露,就只创建一个对象实例试试(单例化),修改后,代码如下(代码相对简单,注释已移除):

        public static string MD5Encode(string source)
        {
            if (string.IsNullOrEmpty(source))
                return source;

            MD5 md5 = GetMd5Instance();
            byte[] s = md5.ComputeHash(Encoding.UTF8.GetBytes(source));
            return BitConverter.ToString(s).Replace("-", "");
        }
        
        private static MD5CryptoServiceProvider _md5Instance;
        private MD5CryptoServiceProvider GetMd5Instance()
        {
            return _md5Instance ?? (_md5Instance = new MD5CryptoServiceProvider());
        }

        经过几轮测试,没有再出现内存溢出,问题解决了。

原理依据

        既然MD5CryptoServiceProvider会造成内存泄露,肯定是要有原因的,微软也给出了提示,这个类是非线程安全的。MSDN的描述如下:

        

使用建议

        既然MD5CryptoServiceProvider的实例是非线程安全的,使用单例模式也是一种办法。同时,如果不考虑和老系统的兼容问题,请使用新的取hash的算法sha,MSDN上面也有建议:

        

        SHA1、SHA384、SHA256、SHA512都有线程安全的子类:{X}Managed,可以使用这样的子类放心创建实例:

        public static string Md5Encode(string source)
        {
            if (string.IsNullOrEmpty(source))
                return source;

            //MD5 md5 = GetMd5Instance();
            //byte[] s = md5.ComputeHash(Encoding.UTF8.GetBytes(source));

            SHA512 shaM = new SHA512Managed();
            byte[] s = shaM.ComputeHash(Encoding.UTF8.GetBytes(source));

            //SHA1 shaM = new SHA1Managed();
            //byte[] s = shaM.ComputeHash(Encoding.UTF8.GetBytes(source));

            return BitConverter.ToString(s).Replace("-", "");
        }

        当然,{X}CryptoServiceProvider类型的实例依然是非线程安全的,要是使用{X}CryptoServiceProvider,仍然要注意内存泄露问题。

解决方案补充

       首先感谢网友们积极认真的回复解答,你们让我受益匪浅。

        上面我的分析和给出的解决方案都表面化了,非常抱歉。从朋友们的回复中可以看到,问题的根本原因是对.net中的非托管对象理解不深,使用对象错误造成内存泄露。对于非托管代码,c#提供了Dispose模式,平时只关注流相关的对象,很少关注其他对象,以后多加注意,加深理解。

        以免内存泄露,正确使用MD5CryptoServiceProvider对象,应该像使用流对象(非托管)一样,在fin里调用Dispose,或者使用using包围,让编译器帮忙调用Dispose。

再次谢谢大家帮忙解决问题;有其他方案的,欢迎继续回复!

© 著作权归作者所有

caltrop
粉丝 2
博文 8
码字总数 5018
作品 0
海淀
高级程序员
私信 提问
加载中

评论(14)

自主创新
自主创新
我人为不应该用.net
久永
久永
@runescape
标题误解太大,建议修改,否则有哗众取宠&标题党之嫌疑。支持者+10086~
caltrop
caltrop 博主

引用来自“AkataMoKa”的评论

我看到你给的“原理依据”那里的MSDN截图,我怎么认为它说的是线程安全的?
是我英语不好吗?

静态成员线程安全,实例不保证线程安全
AkataMoKa
AkataMoKa
我看到你给的“原理依据”那里的MSDN截图,我怎么认为它说的是线程安全的?
是我英语不好吗?
洛阳码农
eechen还有三十秒到达战场,碾碎他们!
caltrop
caltrop 博主

引用来自“BinSys”的评论

MD5CryptoServiceProvider 内部调用了WIN的非托管crypto api,又native调用,你又没using,当然会泄露。

@BinSys @Minho 谢谢各位认真的解读,以后更要注重重构这些非安全代码。
kstrain
kstrain
谢谢你的分享。一直没注意这种问题,一般都网络上抄例子。
Glitter
Glitter
using解千愁
红薯官方
红薯官方
没事,循环里面重复new 更多的实例哈哈,很酸爽。
BinSys
BinSys
MD5CryptoServiceProvider 内部调用了WIN的非托管crypto api,又native调用,你又没using,当然会泄露。
XCode Static Analysis 静态分析工具分析代码

Clang静态分析和Instruments来剖析代码有一些不同,Clang更致力于在编译的过程中通过自身的一套判断机制来找出代码中潜在的隐患。   在XCode 3.2之后的版本里,Clang已经被集成进来,Stati...

奋斗的青春年华
2016/09/09
126
0
Android 内存泄露优化处理

参考: Android应用内存泄露分析、改善经验总结 使用新版Android Studio检测内存泄露和性能 解决安卓CPU使用率过高问题 Android CPU使用过大的问题解决以及造成的原因 AndroidStudio CPU Mo...

天鬼
2017/11/06
0
0
使用 Eclipse Memory Analyzer 进行堆转储文件分析

简介: Eclipse Memory Analyzer(MAT)是著名的跨平台集成开发环境 Eclipse Galileo 版本的 33 个组成项目中之一,它是一个功能丰富的 JAVA 堆转储文件分析工具,可以帮助你发现内存漏洞和减...

红薯
2010/07/26
1K
0
使用Xcode和Instruments调试解决iOS内存泄露

虽然iOS 5.0版本之后加入了ARC机制,由于相互引用关系比较复杂时,内存泄露还是可能存在。所以了解原理很重要。 这里讲述在没有ARC的情况下,如何使用Instruments来查找程序中的内存泄露,以...

张志浩
2013/02/09
1K
1
ios Instruments 内存泄露

虽然iOS 5.0版本之后加入了ARC机制,由于相互引用关系比较复杂时,内存泄露还是可能存在。所以了解原理很重要。 这里讲述在没有ARC的情况下,如何使用Instruments来查找程序中的内存泄露,以...

孙启超
2014/04/09
378
0

没有更多内容

加载失败,请刷新页面

加载更多

关于运维,该怎么决定它的方向,这个似工作又似兴趣的存在

我之前主要从事网络、桌面、机房管理等相关工作,这些工作使我迷惘,这应该是大多数运维人都经历过的过程; 18年国庆,我从国内前三的消费金融公司裸辞,下海创业,就是想要摆脱这样的困境。...

网络小虾米
14分钟前
3
0
Java Timer的用法

Timer timer = new Timer(); timer.schedule(new TimerTask() { public void run() { System.out.println("11232"); } }, 200000 , 1000); public void schedule(TimerTask task, long delay......

林词
18分钟前
3
0
使用js动态加载外部js文件以及动态创建script脚本

动态脚本指的是在页面加载时不存在,但将来的某一时刻通过修改该DOM动态添加的脚本。和操作HTML元素一样,创建动态脚本也有两种方式:插入外部文件和直接插入JavaScript代码。 动态加载外的外...

Bing309
26分钟前
2
0
从零开始入门 K8s | Kubernetes 网络概念及策略控制

作者 | 阿里巴巴高级技术专家 叶磊 一、Kubernetes 基本网络模型 本文来介绍一下 Kubernetes 对网络模型的一些想法。大家知道 Kubernetes 对于网络具体实现方案,没有什么限制,也没有给出特...

阿里巴巴云原生
30分钟前
2
0
天气获取

本文转载于:专业的前端网站➨天气获取 $.get("http://wthrcdn.etouch.cn/WeatherApi", { citykey: cityCode }, function (d) { //创建文档对象 var parser = new ......

前端老手
30分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部