文档章节

中文分词效果对比

杨尚川
 杨尚川
发布于 2014/04/29 19:04
字数 1217
阅读 1692
收藏 1

使用40个句子,在word分词搜狗分词ansj分词之间看看区别有多大。

 

word分词效果:

 

杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
他 说 的 确实 在理 
提高 人民 生活 水平 
他俩 儿 谈恋爱 是从 头年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和服 务 于 三 日后 裁制 完毕 , 并 呈送 将军 府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中 国有 企业 有 十个 
他 站 起身 来 
他们 是 来 查 金泰 撞人 那件 事 的 
行 侠 仗义 的 查 金泰 远近 闻名 
长春 市长 春节 致辞 
他 从 马上 摔下 来 了 , 你 马上 下来 一 下 
乒乓球拍 卖完 了 
咬死 猎人 的 狗 
地面 积 了 厚厚 的 雪 
这 几块 地 面积 还 真 不小 
大学生活 象 白纸 
结 合成 分子式 
有 意见 分歧 
发展 中国 家兔 的 计划 
明天 他 将来 北京 
税收制度 将来 会 更 完善 
依靠 群众 才能 做好 工作 
现在 是 施展 才能 的 好 机会 
把手 举 起来 
茶杯 的 把手 断 了 
以 新的 姿态 出 现在 世界 东方 
使 节约粮食 进一步 形成 风气 
反映 了 一 个人 的 精神 面貌 
美国 加州 大学 的 科学 家 发现 
我 好不 挺好 
木 有 
下雨天 留客 天天 留 我 不留 
叔叔 亲 了 我 妈妈 也 亲 了 我 
白马非马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

搜狗分词效果 :

 

杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
他 说 的确 实在 理 
提高 人民 生活 水平 
他 俩 儿 谈恋爱 是 从头 年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和 服务 于 三 日后 裁 制 完毕 并 呈送 将军府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中国 有 企业 有 十 个 
他 站 起身 来 
他们 是 来 查 金泰 撞人 那 件 事 的 
行 侠 仗义 的 查 金泰 远近 闻名 
长春 市长 春节 致辞 
他 从 马上 摔下 来了 你 马上 下来 一下 
乒乓球 拍卖 完 了 
咬 死 猎人 的 狗 
地 面积 了 厚厚 的 雪 
这 几块 地 面积 还 真 不 小 
大学生 活象 白纸 
结合 成 分子式 
有 意见 分歧 
发展 中国 家兔 的 计划 
明天 他 将来 北京 
税收 制度 将来 会 更 完善 
依靠 群众 才能 做好 工作 
现在 是 施展 才能 的 好 机会 
把手 举起 来 
茶杯 的 把手 断了 
以 新 的 姿态 出现 在 世界 东方 
使 节约 粮食 进一步 形成 风气
反映 了 一个人 的 精神 面貌 
美国 加州 大学 的 科学家 发现 
我 好 不 挺 好 
木有 
下 雨天 留客 天天 留 我 不留 
叔叔 亲了 我 妈妈 也 亲了 我 
白马 非 马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

ansj分词效果:

 

杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
他 说 的 确实 在理 
提高 人民 生活 水平 
他俩 儿 谈恋爱 是从 头年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和 服务 于 三日 后 裁制 完毕 , 并 呈送 将军 府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中 国有企业 有 十个 
他 站 起身 来 
他们 是 来 查 金泰 撞 人 那件事 的 
行侠仗义 的 查 金泰 远近闻名 
长春 市长 春节 致辞 
他 从 马上 摔下来 了 , 你 马上 下来 一下 
乒乓球拍 卖完 了 
咬 死 猎人 的 狗 
地面 积 了 厚厚的 雪 
这 几块 地 面积 还 真 不小 
大学 生活 象 白纸 
结合 成 分子式 
有 意见分歧 
发展中国家 兔 的 计划 
明天 他 将来 北京 
税收制度 将来 会 更 完善 
依靠群众 才能 做好 工作 
现在 是 施展才能 的 好 机会 
把手 举 起来 
茶杯 的 把手 断 了 
以 新 的 姿态 出现 在 世界 东方 
使 节约粮食 进一步 形成 风气 
反映 了 一个 人 的 精神面貌 
美国加州大学 的 科学家 发现 
我 好 不 挺 好 
木 有 
下雨天 留客 天天 留 我 不留 
叔叔 亲 了 我 妈妈 也 亲 了 我 
白马非马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

 

 看如下详细对比图(搜狗分词和word分词):

 

 

 

看如下详细对比图(ansj分词和word分词):



 
 

参考资料:

1、word分词

2、搜狗分词

3、ansj分词

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1103
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
加载中

评论(2)

别闹我有药啊
别闹我有药啊
很显然,ansj更胜一筹
Wenh_q
Wenh_q
感觉准确度蛮高的
hanlp和jieba等六大中文分工具的测试对比

本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由 水...琥珀 完成的。相关测试的文章之前也看到过一些,但本篇阐述的可以说是比...

左手的倒影
02/25
114
0
Java中文分词组件 - word分词

Java分布式中文分词组件 - word分词 word分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数...

杨尚川
2014/04/29
25.2K
56
复旦大学提出中文分词新方法,Transformer连有歧义的分词也能学

复旦大学邱锡鹏等研究者提出新型分词方法,只有能 Cover 多个分词标准和最新 Transformer 的方法,才是好的中文分词方法。 机器之心报道,参与:思源、一鸣。 从不同的角度看待中文句子,可能...

机器之心
07/04
0
0
11款开放中文分词引擎大比拼

在逐渐步入DT(Data Technology)时代的今天,自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说,并没有类似英文空格的边界标志。而理解句子所包含的词语,则是理解汉语语句的第...

BosonNLP
2015/11/10
5.4K
3
中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 | ACL 2019

作者| Yuxian Meng、Xiaoya Li、Xiaofei Sun、Qinghong Han、Arianna Yuan、 Jiwei Li 译者 | Rachel 责编 | Jane 出品 | AI科技大本营(ID: rgznai100) 【导读】通常,中文文本处理的第一步...

AI科技大本营
06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

最简单的获取相机拍照的图片

  import android.content.Intent;import android.graphics.Bitmap;import android.os.Bundle;import android.os.Environment;import android.provider.MediaStore;import andr......

MrLins
今天
5
0
说好不哭!数据可视化深度干货,前端开发下一个涨薪点在这里~

随着互联网在各行各业的影响不断深入,数据规模越来越大,各企业也越来越重视数据的价值。作为一家专业的数据智能公司,个推从消息推送服务起家,经过多年的持续耕耘,积累沉淀了海量数据,在...

个推
今天
8
0
第三方支付-返回与回调注意事项

不管是支付宝,微信,还是其它第三方支付,第四方支付,支付机构服务商只要涉及到钱的交易都要进行如下校验,全部成功了才视为成功订单 1.http请求是否成功 2.校验商户号 3.校验订单号及状态...

Shingfi
今天
4
0
简述Java内存分配和回收策略以及Minor GC 和 Major GC(Full GC)

内存分配: 1. 栈区:栈可分为Java虚拟机和本地方法栈 2. 堆区:堆被所有线程共享,在虚拟机启动时创建,是唯一的目的是存放对象实例,是gc的主要区域。通常可分为两个区块年轻代和年老代。更...

DustinChan
今天
6
0
Excel插入批注:可在批注插入文字、形状、图片

1.批注一直显示:审阅选项卡-------->勾选显示批注选项: 2.插入批注快捷键:Shift+F2 组合键 3.在批注中插入图片:鼠标右键点击批注框的小圆点【重点不可以在批注文本框内点击】----->调出批...

东方墨天
今天
6
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部