文档章节

中文分词效果对比

杨尚川
 杨尚川
发布于 2014/04/29 19:04
字数 1217
阅读 1665
收藏 1

使用40个句子,在word分词搜狗分词ansj分词之间看看区别有多大。

 

word分词效果:

 

杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
他 说 的 确实 在理 
提高 人民 生活 水平 
他俩 儿 谈恋爱 是从 头年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和服 务 于 三 日后 裁制 完毕 , 并 呈送 将军 府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中 国有 企业 有 十个 
他 站 起身 来 
他们 是 来 查 金泰 撞人 那件 事 的 
行 侠 仗义 的 查 金泰 远近 闻名 
长春 市长 春节 致辞 
他 从 马上 摔下 来 了 , 你 马上 下来 一 下 
乒乓球拍 卖完 了 
咬死 猎人 的 狗 
地面 积 了 厚厚 的 雪 
这 几块 地 面积 还 真 不小 
大学生活 象 白纸 
结 合成 分子式 
有 意见 分歧 
发展 中国 家兔 的 计划 
明天 他 将来 北京 
税收制度 将来 会 更 完善 
依靠 群众 才能 做好 工作 
现在 是 施展 才能 的 好 机会 
把手 举 起来 
茶杯 的 把手 断 了 
以 新的 姿态 出 现在 世界 东方 
使 节约粮食 进一步 形成 风气 
反映 了 一 个人 的 精神 面貌 
美国 加州 大学 的 科学 家 发现 
我 好不 挺好 
木 有 
下雨天 留客 天天 留 我 不留 
叔叔 亲 了 我 妈妈 也 亲 了 我 
白马非马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

搜狗分词效果 :

 

杨尚川 是 apdplat 应用 级 产品 开发 平台 的 作者 
他 说 的确 实在 理 
提高 人民 生活 水平 
他 俩 儿 谈恋爱 是 从头 年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和 服务 于 三 日后 裁 制 完毕 并 呈送 将军府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中国 有 企业 有 十 个 
他 站 起身 来 
他们 是 来 查 金泰 撞人 那 件 事 的 
行 侠 仗义 的 查 金泰 远近 闻名 
长春 市长 春节 致辞 
他 从 马上 摔下 来了 你 马上 下来 一下 
乒乓球 拍卖 完 了 
咬 死 猎人 的 狗 
地 面积 了 厚厚 的 雪 
这 几块 地 面积 还 真 不 小 
大学生 活象 白纸 
结合 成 分子式 
有 意见 分歧 
发展 中国 家兔 的 计划 
明天 他 将来 北京 
税收 制度 将来 会 更 完善 
依靠 群众 才能 做好 工作 
现在 是 施展 才能 的 好 机会 
把手 举起 来 
茶杯 的 把手 断了 
以 新 的 姿态 出现 在 世界 东方 
使 节约 粮食 进一步 形成 风气
反映 了 一个人 的 精神 面貌 
美国 加州 大学 的 科学家 发现 
我 好 不 挺 好 
木有 
下 雨天 留客 天天 留 我 不留 
叔叔 亲了 我 妈妈 也 亲了 我 
白马 非 马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

ansj分词效果:

 

杨尚川 是 apdplat 应用 级 产品开发 平台 的 作者 
他 说 的 确实 在理 
提高 人民 生活 水平 
他俩 儿 谈恋爱 是从 头年 元月 开始 的 
王府 饭店 的 设施 和 服务 是 一流 的 
和 服务 于 三日 后 裁制 完毕 , 并 呈送 将军 府 中 
研究 生命 的 起源 
他 明天 起身 去 北京 
在 这些 企业 中 国有企业 有 十个 
他 站 起身 来 
他们 是 来 查 金泰 撞 人 那件事 的 
行侠仗义 的 查 金泰 远近闻名 
长春 市长 春节 致辞 
他 从 马上 摔下来 了 , 你 马上 下来 一下 
乒乓球拍 卖完 了 
咬 死 猎人 的 狗 
地面 积 了 厚厚的 雪 
这 几块 地 面积 还 真 不小 
大学 生活 象 白纸 
结合 成 分子式 
有 意见分歧 
发展中国家 兔 的 计划 
明天 他 将来 北京 
税收制度 将来 会 更 完善 
依靠群众 才能 做好 工作 
现在 是 施展才能 的 好 机会 
把手 举 起来 
茶杯 的 把手 断 了 
以 新 的 姿态 出现 在 世界 东方 
使 节约粮食 进一步 形成 风气 
反映 了 一个 人 的 精神面貌 
美国加州大学 的 科学家 发现 
我 好 不 挺 好 
木 有 
下雨天 留客 天天 留 我 不留 
叔叔 亲 了 我 妈妈 也 亲 了 我 
白马非马 
学生会 写文章 
张掖 市民 陈军 
张掖市 明 乐 县

 

 

 看如下详细对比图(搜狗分词和word分词):

 

 

 

看如下详细对比图(ansj分词和word分词):



 
 

参考资料:

1、word分词

2、搜狗分词

3、ansj分词

© 著作权归作者所有

杨尚川

杨尚川

粉丝 1101
博文 220
码字总数 1624053
作品 12
东城
架构师
私信 提问
加载中

评论(2)

别闹我有药啊
别闹我有药啊
很显然,ansj更胜一筹
Wenh_q
Wenh_q
感觉准确度蛮高的
hanlp和jieba等六大中文分工具的测试对比

本篇文章测试的哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP这六大中文分词工具是由 水...琥珀 完成的。相关测试的文章之前也看到过一些,但本篇阐述的可以说是比...

左手的倒影
02/25
103
0
Java中文分词组件 - word分词

Java分布式中文分词组件 - word分词 word分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数...

杨尚川
2014/04/29
24.9K
56
复旦大学提出中文分词新方法,Transformer连有歧义的分词也能学

复旦大学邱锡鹏等研究者提出新型分词方法,只有能 Cover 多个分词标准和最新 Transformer 的方法,才是好的中文分词方法。 机器之心报道,参与:思源、一鸣。 从不同的角度看待中文句子,可能...

机器之心
07/04
0
0
11款开放中文分词引擎大比拼

在逐渐步入DT(Data Technology)时代的今天,自然语义分析技术越发不可或缺。对于我们每天打交道的中文来说,并没有类似英文空格的边界标志。而理解句子所包含的词语,则是理解汉语语句的第...

BosonNLP
2015/11/10
5.4K
3
中文NLP的分词真有必要吗?李纪为团队四项任务评测一探究竟 | ACL 2019

作者| Yuxian Meng、Xiaoya Li、Xiaofei Sun、Qinghong Han、Arianna Yuan、 Jiwei Li 译者 | Rachel 责编 | Jane 出品 | AI科技大本营(ID: rgznai100) 【导读】通常,中文文本处理的第一步...

AI科技大本营
06/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

只需一步,在Spring Boot中统一Restful API返回值格式与统一处理异常

统一返回值 在前后端分离大行其道的今天,有一个统一的返回值格式不仅能使我们的接口看起来更漂亮,而且还可以使前端可以统一处理很多东西,避免很多问题的产生。 比较通用的返回值格式如下:...

晓月寒丶
昨天
59
0
区块链应用到供应链上的好处和实际案例

区块链可以解决供应链中的很多问题,例如记录以及追踪产品。那么使用区块链应用到各产品供应链上到底有什么好处?猎头悬赏平台解优人才网小编给大家做个简单的分享: 使用区块链的最突出的优...

猎头悬赏平台
昨天
28
0
全世界到底有多少软件开发人员?

埃文斯数据公司(Evans Data Corporation) 2019 最新的统计数据(原文)显示,2018 年全球共有 2300 万软件开发人员,预计到 2019 年底这个数字将达到 2640万,到 2023 年达到 2770万。 而来自...

红薯
昨天
65
0
Go 语言基础—— 通道(channel)

通过通信来共享内存(Java是通过共享内存来通信的) 定义 func service() string {time.Sleep(time.Millisecond * 50)return "Done"}func AsyncService() chan string {retCh := mak......

刘一草
昨天
58
0
Apache Flink 零基础入门(一):基础概念解析

Apache Flink 的定义、架构及原理 Apache Flink 是一个分布式大数据处理引擎,可对有限数据流和无限数据流进行有状态或无状态的计算,能够部署在各种集群环境,对各种规模大小的数据进行快速...

Vincent-Duan
昨天
60
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部