文档章节

深度学习中文分词调研

hankcs
 hankcs
发布于 2017/08/10 21:59
字数 296
阅读 25
收藏 0
本文由码农场同步,最新版本请查看原文:http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html
深度学习中文分词调研
随着深度学习的普及,有越来越多的研究应用新模型到中文分词上,让人直呼“手快有,手慢无”。不过这些神经网络方法的真实水平如何?具体数值多少?以Sighan05中的PKU数据集为例,真像一些论文所言,一个LSTM-CRF就有96.5%吗?或者像某些工业界人士那样,动辄“基于深度学习的98%准确率”,“99% 的分词成功率”吗?如果数字真的这么好看,那中文分词这个课题几乎没有研究意义了。更何况,中文分词标准难以统一,任何语料库都存在内部标注一致性(inter-annotator agreement)的问题。一些著...

继续阅读码农场 » 深度学习中文分词调研

原文链接http://www.hankcs.com/nlp/segment/depth-learning-chinese-word-segmentation-survey.html


感谢阅读本文,欢迎 查看原文或访问 码农场 获取更多内容

© 著作权归作者所有

共有 人打赏支持
hankcs
粉丝 36
博文 222
码字总数 53918
作品 1
美国
私信 提问
FoolNLTK 基于深度学习的分词工具首次发布

FoolNLTK 是基于深度学习的开源分词工具 主要有以下特点: 可能不是最快的开源中文分词,但很可能是最准的开源中文分词 基于BiLSTM模型训练而成 包含分词,词性标注,实体识别, 都有比较高的...

正_午
2017/12/21
1K
2
中文分词工具

中文分词工具非常繁多,主要与大家分享其中几个工具,这是本人第一次接触中文分词工具,望轻喷。 中文分词工具: 1、IK Analyzer 是一个开源的,基于java语言开发的轻量级的中文分词工具包。...

阿阿阿阿阿局
2016/05/10
403
0
04-18

04-17 Done 搭建Qt运行环境; (1h,100%) 搭建Python运行环境及科学计算库 (1h,100%) 深度学习平台调研 (6h,50%) PyTorch v.s. TensorFlow 04-18 TO-DO List 深度学习平台调研 YAP项目依赖...

体全息
04/18
0
0
Java中文分词组件 - word分词

Java分布式中文分词组件 - word分词 word分词是一个Java实现的分布式的中文分词组件,提供了多种基于词典的分词算法,并利用ngram模型来消除歧义。能准确识别英文、数字,以及日期、时间等数...

杨尚川
2014/04/29
0
47
中文分词库--Paoding

庖丁中文分词库是一个使用Java开发的,可结合到Lucene应用中的,为互联网、企业内部网使用的中文搜索引擎分词组件。Paoding填补了国内中文分词方面开源组件的空白,致力于此并希翼成为互联网...

qieqie.wang
2008/09/07
32K
4

没有更多内容

加载失败,请刷新页面

加载更多

使用form表单同时实现上传文件和提交文本数据

使用form表单同时实现上传文件和提交文本数据,此示例中在后台将文件上传到阿里的oss存储服务器中 申请oss相关账号: endpoint = "http://oss-cn-qingdao.aliyuncs.com"; accessKeyId = "key"...

貔貅叔
14分钟前
1
0
结合实际场景谈一谈微服务配置

作为 Nacos 5W1H 的系列文章,本文将围绕“Where”,讲述 Nacos 配置管理的三个典型的应用场景: 数据库连接信息 限流阈值和降级开关 流量的动态调度 上一篇:Nacos帮我解决了什么问题? 数据...

阿里云云栖社区
16分钟前
1
0
在Windows安装运行Kafka

https://www.cnblogs.com/flower1990/p/7466882.html 一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:根据3......

洛水
17分钟前
1
0
插件

sftp Bracket Pair Colorizer Guides Auto Rename Tag Chinese (Simplified) Language Pack for Visual Studio Code...

dragon_tech
18分钟前
1
0
Missing Number(leetcode268)

Given an array containing n distinct numbers taken from 0, 1, 2, ..., n, find the one that is missing from the array. Example 1: Input: [3,0,1]Output: 2 Example 2: Input: [9,6......

woshixin
23分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部