文档章节

自己实现文本相似度算法(余弦定理)

Breath_L
 Breath_L
发布于 2012/03/04 16:59
字数 1216
阅读 49148
收藏 127

       最近由于工作项目,需要判断两个txt文本是否相似,于是开始在网上找资料研究,因为在程序中会把文本转换成String再做比较,所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好,受益匪浅。

       于是我决定把它用到项目中,来判断两个文本的相似度。但后来实际操作发现有一些问题:直接说就是查询一本书中的相似章节花了我7、8分钟;这是我不能接受……

       于是停下来仔细分析发现,这种算法在此项目中不是特别适用,由于要判断一本书中是否有相同章节,所以每两个章节之间都要比较,若一本书书有x章的话,这里需对比x(x-1)/2次;而此算法采用矩阵的方式,计算两个字符串之间的变化步骤,会遍历两个文本中的每一个字符两两比较,可以推断出时间复杂度至少为 document1.length × document2.length,我所比较的章节字数平均在几千~一万字;这样计算实在要了老命。

       想到Lucene中的评分机制,也是算一个相似度的问题,不过它采用的是计算向量间的夹角(余弦公式),在google黑板报中的:数学之美(余弦定理和新闻分类) 也有说明,可以通过余弦定理来判断相似度;于是决定自己动手试试。

       首相选择向量的模型:在以字为向量还是以词为向量的问题上,纠结了一会;后来还是觉得用字,虽然词更为准确,但分词却需要增加额外的复杂度,并且此项目要求速度,准确率可以放低,于是还是选择字为向量。

       然后每个字在章节中出现的次数,便是以此字向量的值。现在我们假设:

       章节1中出现的字为:Z1c1,Z1c2,Z1c3,Z1c4……Z1cn;它们在章节中的个数为:Z1n1,Z1n2,Z1n3……Z1nm

       章节2中出现的字为:Z2c1,Z2c2,Z2c3,Z2c4……Z2cn;它们在章节中的个数为:Z2n1,Z2n2,Z2n3……Z2nm

       其中,Z1c1和Z2c1表示两个文本中同一个字,Z1n1和Z2n1是它们分别对应的个数,

       最后我们的相似度可以这么计算:

       程序实现如下:(若有可优化或更好的实现请不吝赐教)

public class CosineSimilarAlgorithm {
	public static double getSimilarity(String doc1, String doc2) {
		if (doc1 != null && doc1.trim().length() > 0 && doc2 != null
				&& doc2.trim().length() > 0) {
			
			Map<Integer, int[]> AlgorithmMap = new HashMap<Integer, int[]>();
			
			//将两个字符串中的中文字符以及出现的总数封装到,AlgorithmMap中
			for (int i = 0; i < doc1.length(); i++) {
				char d1 = doc1.charAt(i);
				if(isHanZi(d1)){
					int charIndex = getGB2312Id(d1);
					if(charIndex != -1){
						int[] fq = AlgorithmMap.get(charIndex);
						if(fq != null && fq.length == 2){
							fq[0]++;
						}else {
							fq = new int[2];
							fq[0] = 1;
							fq[1] = 0;
							AlgorithmMap.put(charIndex, fq);
						}
					}
				}
			}

			for (int i = 0; i < doc2.length(); i++) {
				char d2 = doc2.charAt(i);
				if(isHanZi(d2)){
					int charIndex = getGB2312Id(d2);
					if(charIndex != -1){
						int[] fq = AlgorithmMap.get(charIndex);
						if(fq != null && fq.length == 2){
							fq[1]++;
						}else {
							fq = new int[2];
							fq[0] = 0;
							fq[1] = 1;
							AlgorithmMap.put(charIndex, fq);
						}
					}
				}
			}
			
			Iterator<Integer> iterator = AlgorithmMap.keySet().iterator();
			double sqdoc1 = 0;
			double sqdoc2 = 0;
			double denominator = 0; 
			while(iterator.hasNext()){
				int[] c = AlgorithmMap.get(iterator.next());
				denominator += c[0]*c[1];
				sqdoc1 += c[0]*c[0];
				sqdoc2 += c[1]*c[1];
			}
			
			return denominator / Math.sqrt(sqdoc1*sqdoc2);
		} else {
			throw new NullPointerException(
					" the Document is null or have not cahrs!!");
		}
	}

	public static boolean isHanZi(char ch) {
		// 判断是否汉字
		return (ch >= 0x4E00 && ch <= 0x9FA5);

	}

	/**
	 * 根据输入的Unicode字符,获取它的GB2312编码或者ascii编码,
	 * 
	 * @param ch
	 *            输入的GB2312中文字符或者ASCII字符(128个)
	 * @return ch在GB2312中的位置,-1表示该字符不认识
	 */
	public static short getGB2312Id(char ch) {
		try {
			byte[] buffer = Character.toString(ch).getBytes("GB2312");
			if (buffer.length != 2) {
				// 正常情况下buffer应该是两个字节,否则说明ch不属于GB2312编码,故返回'?',此时说明不认识该字符
				return -1;
			}
			int b0 = (int) (buffer[0] & 0x0FF) - 161; // 编码从A1开始,因此减去0xA1=161
			int b1 = (int) (buffer[1] & 0x0FF) - 161; // 第一个字符和最后一个字符没有汉字,因此每个区只收16*6-2=94个汉字
			return (short) (b0 * 94 + b1);
		} catch (UnsupportedEncodingException e) {
			e.printStackTrace();
		}
		return -1;
	}
}

       程序中做了两小的改进,以加快效率:

       1. 只将汉字作为向量,其他的如标点,数字等符号不处理;2. 在HashMap中存放汉字和其在文本中对于的个数时,先将单个汉字通过GB2312编码转换成数字,再存放。

       最后写了个测试,根据两种不同的算法对比下时间,下面是测试结果:

       余弦定理算法:doc1 与 doc2 相似度为:0.9954971, 耗时:22mm

       距离编辑算法:doc1 与 doc2 相似度为:0.99425095, 耗时:322mm

       可见效率有明显提高,算法复杂度大致为:document1.length + document2.length

       原创blog,转载请注明http://my.oschina.net/BreathL/blog/42477

© 著作权归作者所有

Breath_L

Breath_L

粉丝 225
博文 20
码字总数 26444
作品 0
朝阳
程序员
私信 提问
加载中

评论(24)

livem
livem
NLP 范畴
周立亮
周立亮
两个文本都是全英文比较或者汉字文本与全英文文本比较会返回NaN
垫底小王子
垫底小王子
很少评论的,楼主很强大
fir01
fir01
赞一个,项目中要比较两个标题的相似度。我是拿来主义,只能说非常感谢兄弟,感谢
二胡
二胡
无法处理英文
小树鹿鸣
小树鹿鸣
用余弦定理没错,但你的方法不正确,精度不高,还可能有错!
我是歌手
你好!你这是对中文文本的相似度计算,那么怎么对英文进行计算呢?程序怎么改呢
彭博
彭博
nice
Breath_L
Breath_L 博主

引用来自“runtest”的评论

写的不错
1. 时间可以max (document1.length , document2.length)
2. 中文范围只是unicode,而且还错了 是\u4E00-\u9FA5 ,\uF900-\uFA2D
3. fq.length == 2 没用, 可能出现 !=2 的情况么
4. 有必要区分中文么,你项目既然没准确率要求,直接取 char code不就完了,有必要的话前面先去噪音,这两步还可以玩并发了
5. 极限看 map存储用的是object , 可以自实现primitive type 的hashmap
6. 老实说你几千-万字的对比 准确率不知道放低到什么程度, 按字理应只计算短句
7. 分词(有些分词很快)可以 和 词频 同时进行, 时间复杂度基本不变,但逻辑处理hash什么的时间会有些增加

这是我很早写的博客,很多编程方面都不成熟,也没有仔细斟酌,你指出的问题,各个在理,我非常受益,非常感谢你的细评
r
runtest
写的不错
1. 时间可以max (document1.length , document2.length)
2. 中文范围只是unicode,而且还错了 是\u4E00-\u9FA5 ,\uF900-\uFA2D
3. fq.length == 2 没用, 可能出现 !=2 的情况么
4. 有必要区分中文么,你项目既然没准确率要求,直接取 char code不就完了,有必要的话前面先去噪音,这两步还可以玩并发了
5. 极限看 map存储用的是object , 可以自实现primitive type 的hashmap
6. 老实说你几千-万字的对比 准确率不知道放低到什么程度, 按字理应只计算短句
7. 分词(有些分词很快)可以 和 词频 同时进行, 时间复杂度基本不变,但逻辑处理hash什么的时间会有些增加
文本相似度——自己实现文本相似度算法(余弦定理)

最近由于工作项目,需要判断两个txt文本是否相似,于是开始在网上找资料研究,因为在程序中会把文本转换成String再做比较,所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好,受益匪浅...

rayner
2016/05/30
0
0
余弦定理的应用:基于文字的文本相似度计算

最近由于工作项目,需要判断两个txt文本是否相似,于是开始在网上找资料研究,因为在程序中会把文本转换成String再做比较,所以最开始找到了这篇关于 距离编辑算法 Blog写的非常好,受益匪浅...

大数据之路
2013/03/24
4.4K
5
从0到1,了解NLP中的文本相似度

本文由云+社区发表 作者:netkiddy 导语 AI在2018年应该是互联网界最火的名词,没有之一。时间来到了9102年,也是项目相关,涉及到了一些AI写作相关的功能,为客户生成一些素材文章。但是,A...

腾讯云加社区
02/27
730
0
余弦距离、欧氏距离和杰卡德(Jaccard)相似性度量的比较

1、余弦距离 余弦距离,也称为余弦相似度,是用向量空间中两个向量夹角的余弦值作为衡量两个个体间差异的大小的度量。 向量,是多维空间中有方向的线段,如果两个向量的方向一致,即夹角接近...

u011734144
2018/05/09
0
0
python比较文本相似度(not semantical)

statement:这里的文本相似度不是指语义相似度,仅仅指字符重叠度 sudo apt-get install python-Levenshtein 页可以根据余弦定理: TF-IDF与余弦相似性的应用(二):找出相似文章 http://w...

mickelfeng
2016/08/16
311
0

没有更多内容

加载失败,请刷新页面

加载更多

自定义ApiBoot Logging链路以及单元ID生成策略

ApiBoot Logging会为每一个请求都对应创建链路编号(TraceID)以及单元编号(SpanID),用于归类每一次请求日志,通过一个链路下日志单元的Parent SpanID可以进行上下级关系的梳理。 前文回顾...

恒宇少年
31分钟前
15
0
浅谈 Application 和 activity

对于 在 Application初始化一些变量,为什么不可以放在activity 或者其他的组件里呢? 这里就根据个人的理解来讲述一下,欢迎补充指正。 首先 activity 是以栈的形式出现,一个app应用会有多...

MrLins
31分钟前
13
0
Allegro的脚本文件内容里都有哪些

小伙伴们在使用Allegro的时候是否经常用到脚本文件夹呢?scr的用法其实可真不简单。。。 首先脚本文件的运行模式就存在很多种,比如不提示错误信息,不弹出确认对画框(这样很有利于我们执行...

demyar
32分钟前
21
0
微信升级外链管理规范,「砍一刀帮我加速」要被禁止了

原创: 蒋鸿昌 首发:「知晓程序」公众号 - 最好的微信新商业媒体 几天前,知名互联网评论人阑夕模仿皮尤研究中心(Pew Research Center)在美国做的互联网通识调查问卷,做了一份中文版问卷...

知晓云
33分钟前
20
0
CentOS 7接投影仪

我将一台安装着CentOS 7图形界面的惠普笔记本电脑当桌面使用。最近,想要连接投影仪时却遇到了问题。笔记本有一个HDMI接口。我买了一个HDMI---->VGA的转接线,连上笔记本电脑后,屏幕一直在闪...

大别阿郎
36分钟前
11
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部