标记问题:介绍
标记问题:介绍
AllenOR灵感 发表于8个月前
标记问题:介绍
  • 发表于 8个月前
  • 阅读 1
  • 收藏 0
  • 点赞 0
  • 评论 0

移动开发云端新模式探索实践 >>>   


该系列将描述一些自然语言处理方面的技术,完整目录请点击这里


在很多的 NLP 问题中,我们想对两个序列进行建模,词性标注(POS)问题可能是最早也是最有名的一个案例。在词性标注中,我们的目标是建立一个模型,它的输入是一个句子序列,比如:


模型的输出也是一个标签系列,比如:


(其中,D 表示定语,N 表示名词,V 表示动词)。标签序列的长度和输入序列的长度是一样的,也就是说每个词都会得到一个标签。(在本例子中,Dthe 的标签,Ndog 的标签,Vsaw 的标签,等等以此类推。)

我们使用 x1 . . . xn 序列来表示标记模型的输入:我们将这个称之为一个句子。比如上面的例子,我们的长度为 n = 5,其中 x1 = the,x2 = dog,x3 = saw,x4 = the,x5 = cat。我们将使用 y1,....,yn 表示标记模型的输出:我们将这个序列称为标签序列或者状态序列。在上面的例子中,我们有 y1 = D,y2 = N,y3 = V,等等。

这种类型的问题,其中的关键问题就是一个句子序列 x1,....,xn 映射到标签序列 y1,....,yn 。一般,我们将这个问题称为序列标注问题。


图一:标记问题。模型的输入是一个句子,模型的输出是一个标记好的句子,其中句子的每个词都被标记上了一个标签,比如:N 表示名词,V 表示动词,P 表示介词等等。

我们假设,我们有一个训练集:


其中,x^(i) 表示一个句子序列,y^(i) 表示一个标记序列,即:


我们的任务就是在训练集上面学习出一个映射模型,从输入序列映射到标记序列。

  • 打赏
  • 点赞
  • 收藏
  • 分享
共有 人打赏支持
粉丝 10
博文 2139
码字总数 82983
×
AllenOR灵感
如果觉得我的文章对您有用,请随意打赏。您的支持将鼓励我继续创作!
* 金额(元)
¥1 ¥5 ¥10 ¥20 其他金额
打赏人
留言
* 支付类型
微信扫码支付
打赏金额:
已支付成功
打赏金额: