文档章节

标记问题:生成模型和噪声通道模型

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:24
字数 962
阅读 3
收藏 0

该系列将描述一些自然语言处理方面的技术,完整目录请点击这里


在本节中,我们描述一个重要的监督学习模型。


图 1:命名实体识别作为标记问题。这里有三种不同的实体类型:PERSON,LOCATION 和 COMPANY。对于每个实体类型,我们为该实体引入一个开始标签或者实体延续标签。标签 NA 表示这个词不是一个实体。

接下来,我们来介绍一个用于标记问题的特定生成模型——隐马尔可夫模型。

我们先来确定一些监督学习的符号。我们假设我们的训练集是 (x^(i), y^(i)), ..., (x^(m), y^(m)) ,其中输入的句子序列是 x^(i),对应的标记序列是 y^(i) 。我们假设输入句子序列集合是 X,输出句子序列集合是 Y。那么,我们的任务就是设计一个映射函数 f :X -> Y 。

其中一种定义函数 f(x) 的方法是设计条件模型。在这种方法中,我们定义了一个条件概率模型:


对于任何的 (x, y) 都适用。模型的参数估计可以从训练集中得到。之后,如果我们从测试集中输入 x ,那么模型的输出结果就是:


因此,我们简单地将最有可能的预测标签 y 作为模型的输出。如果我们的模型 p(y | x) 给出的序列标签非常接近于真实条件分布,则函数 f(x) 将非常接近于最优状态。

另一种比较常用的方法是生成模型,在生成模型中,我们不是直接估计条件概率 p(y|x) 的值,而是使用联合概率:


进一步,我们可以将联合概率分解成如下:


然后分别估计 p(y) 和 p(x | y) 模型。这两个模型的具体解释如下:

  • p(y) 是标签 y 的先验概率分布。
  • p(x|y) 是在给定标签 y 的前提下,生成 x 的概率。

我们可以发现,在很多情况下,以这种方式分解模型是非常方便的。例如,语音识别的经典方法是基于这种类型分解的。

给定一个生成模型,我们可以使用贝叶斯规则来导出任何 (x, y) 对的条件概率 p(y|x):


因此,联合概率是非常通用的。

在新的测试用例上面,我们直接使用贝叶斯来处理联合概率模型。给定输入 x ,我们的模型 f(x) 的输出如下:


将联合概率分解为 p(y) 和 p(x | y) 的模型通常被称之为噪声通道模型。直观上来说,当我们看到一个测试例子 x 时,我们假设模型已经产生了两个步骤:首先,以概率 p(y) 选择了一个标签 y;第二,从分布 p(x | y) 生成示例 x。模型 p(x|y) 可以被解释为一个“通道”,它将标签 y 作为其输入,并将其破坏以产生 x 作为输出。我们的任务是根据我们的输入 x,找到最可能的输出标签 y。

最后,总结一下:

  • 我们的任务是去学习一个映射函数:y = f(x),我们假设训练集是 (x^(i), y^(i)) for i = 1, ..., n.
  • 在噪声通道模型中,我们使用训练数据来评估 p(y) 和 p(x|y),这些模型定义了一个联合(生成)模型:

  • 给定一个新的测试样例 x,我们预测标签:

根据输入的 x ,去寻找输出 f(x),这个问题经常被称之为解码问题。

本文转载自:http://www.jianshu.com/p/4771d468ee80

共有 人打赏支持
AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
CVPR 2018文章解读——腾讯AI Lab

今天继续上次的话题,来认识下今天的主题——类人化标注:多样性和独特性图像标注。 该主要提出了一种全新的自动图像标注的生成式模型,名为多样性和独特性图像标注(D2IA)。受到人类标注集...

gzq0723
05/16
0
0
华中科大陈俊:详细解读深度学习之星GAN的原理 | 分享总结

雷锋网AI研习社按:生成式对抗网络(GAN)是近两年机器学习领域的新秀,被Yann LeCun称为"过去十年机器学习界最有趣的idea",目前已经得到广泛研究者的关注并且以高频论文数出现在各大顶会上...

杨文
2017/12/14
0
0
TinyOS下TOSSIM仿真CTP

TinyOS的仿真真的是个好东西,跟着下面的步骤做一遍就知道是什么意思了,下面是在Ubuntu下终端的大体演示。 执行命令 TestNetWork文件的源代码里带有仿真需要的文件,待会再解释 。 我在Ubu...

Roam_Co
04/27
0
0
图像数据增强方法一览(附python代码)

在图像分类任务中,图像数据增强一般是大多数人会采用的方法之一,这是由于深度学习对数据集的大小有一定的要求,若原始的数据集比较小,无法很好地满足网络模型的训练,从而影响模型的性能,...

【方向】
09/25
0
0
思必驰-上海交大实验室14篇 ICASSP 2018入选论文解读

雷锋网(公众号:雷锋网) AI 科技评论按:为期 5 天的 ICASSP 2018,已于当地时间 4 月 20 日在加拿大卡尔加里(Calgary)正式落下帷幕。ICASSP 全称 International Conference on Acoustics,...

奕欣
05/04
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Win10 下安装Win7双系统

很多人买了预装64位Win8/8.1的电脑后想重装(或者再安装一个)Win7系统,但是折腾半天发现以前的方法根本不奏效。这是因为预装Win8/8.1的电脑统一采用了UEFI+GPT引导模式,传统的BIOS(Legacy...

yaly
16分钟前
0
0

中国龙-扬科
26分钟前
1
0
假若明天来临——《AI.未来》读后感3900字

假若明天来临——《AI.未来》读后感3900字: 你有没有想过,如果有一天你被确诊为癌症患者,你会做些什么?你有没有想过,在你百年之后,你希望你的墓碑上刻写着什么内容? 在我翻开李开复老...

原创小博客
32分钟前
1
0
tomcat线程模型

Connector结构 BIO模式 NIO模式

grace_233
今天
2
0
Javascript

变量定义 以$,_,字母开头 大小写敏感 var 关键字声明变量 声明未赋值undefined 数据类型 字符串,数字,布尔,数组,NULL,undefined 变量均为对象 函数 无默认值 var声明的是局部变量 函数外声明...

关元
今天
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部