文档章节

标记问题:介绍

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:19
字数 498
阅读 1
收藏 0

该系列将描述一些自然语言处理方面的技术,完整目录请点击这里


在很多的 NLP 问题中,我们想对两个序列进行建模,词性标注(POS)问题可能是最早也是最有名的一个案例。在词性标注中,我们的目标是建立一个模型,它的输入是一个句子序列,比如:


模型的输出也是一个标签系列,比如:


(其中,D 表示定语,N 表示名词,V 表示动词)。标签序列的长度和输入序列的长度是一样的,也就是说每个词都会得到一个标签。(在本例子中,Dthe 的标签,Ndog 的标签,Vsaw 的标签,等等以此类推。)

我们使用 x1 . . . xn 序列来表示标记模型的输入:我们将这个称之为一个句子。比如上面的例子,我们的长度为 n = 5,其中 x1 = the,x2 = dog,x3 = saw,x4 = the,x5 = cat。我们将使用 y1,....,yn 表示标记模型的输出:我们将这个序列称为标签序列或者状态序列。在上面的例子中,我们有 y1 = D,y2 = N,y3 = V,等等。

这种类型的问题,其中的关键问题就是一个句子序列 x1,....,xn 映射到标签序列 y1,....,yn 。一般,我们将这个问题称为序列标注问题。


图一:标记问题。模型的输入是一个句子,模型的输出是一个标记好的句子,其中句子的每个词都被标记上了一个标签,比如:N 表示名词,V 表示动词,P 表示介词等等。

我们假设,我们有一个训练集:


其中,x^(i) 表示一个句子序列,y^(i) 表示一个标记序列,即:


我们的任务就是在训练集上面学习出一个映射模型,从输入序列映射到标记序列。

本文转载自:http://www.jianshu.com/p/3b902670d8ba

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
基于nio的socket编程

io编程中存在两个问题,io是阻塞的,而且保持多个连接的时候需要加入多线程来保持socket连接。这种方式比较浪费资源,因为每个连接都需要一个线程来保持,这在连接比较多的时候是一个浪费的资...

少不读水浒
2016/10/15
20
0
JFinal后台部署在云服务器的tomcat上,访问失败

@JFinal 波总您好,想跟你请教个问题: 我把一个JFinal写的后台项目部署在云服务器的tomcat上,结果访问失败,提示HTTP Status 404. 部署方法是按照您在博客里介绍的在 webapps 目录之外建目...

南柯三梦
2016/05/13
419
2
JVM:这是一份全面 & 详细的 (GC)垃圾收集算法 讲解攻略

前言 不同的内存区域采用不同的垃圾收集算法 而不同垃圾收集算法决定了垃圾收集的效率 & 效果 本文将全面讲解垃圾收集算法,包括标记-清除、复制、标记-整理等,希望你们会喜欢 在接下来的日...

Carson_Ho
10/10
0
0
图论 应用篇

上次写了篇图的基本构造方法,运用图这种强大的数据结构结构,还能解决实际应用中的许多问题,今天这篇就主要整理一些常见的应用 一、路径问题 路径问题在图的处理领域是非常重要的。如我们最...

丶legend
2017/11/05
0
0
Security+认证考试备考经验分享(七)

考试背景 我本身从事的就是信息安全行业的工作,在工作中会接触到各种各样的安全产品和安全知识。公司在安全牛上也购买了企业课程,平时也零零碎碎的跟安全牛课堂学习。虽然一直从事安全行业...

悠悠啊
08/07
0
0

没有更多内容

加载失败,请刷新页面

加载更多

一个可能的NEO链上安全随机数解决方案

0x00 困境 链上安全随机数生成应该算是一个比较蛋疼的问题,哪怕你的系统再牛逼,合约程序困在小小的虚拟机里,哪怕天大的本事也施展不开。 更悲催的是,交易执行的时候,是在每一个节点都执...

暖冰
今天
1
0
【大福利】极客时间专栏返现二维码大汇总

我已经购买了如下专栏,大家通过我的二维码你可以获得一定额度的返现! 然后,再给大家来个福利,只要你通过我的二维码购买,并且关注了【飞鱼说编程】公众号,可以加我微信或者私聊我,我再...

飞鱼说编程
今天
1
0
Spring5对比Spring3.2源码之容器的基本实现

最近看了《Spring源码深度解析》,该书是基于Spring3.2版本的,其中关于第二章容器的基本实现部分,目前spring5的实现方式已有较大改变。 Spring3.2的实现: public void testSimpleLoad(){...

Ilike_Java
今天
1
0
【王阳明心学语录】-001

1.“破山中贼易,破心中贼难。” 2.“夫万事万物之理不外于吾心。” 3.“心即理也。”“心外无理,心外无物,心外无事。” 4.“人心之得其正者即道心;道心之失其正者即人心。” 5.“无...

卯金刀GG
今天
2
0
OSChina 周三乱弹 —— 我们无法成为野兽

Osc乱弹歌单(2018)请戳(这里) 【今日歌曲】 @ _刚刚好: 霸王洗发水这波很骚 手机党少年们想听歌,请使劲儿戳(这里) hahahahahahh @嘻酱:居然忘了喝水。 让你喝可乐的话, 你准忘不了...

小小编辑
今天
14
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部