文档章节

标记问题:生成模型和噪声通道模型

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:24
字数 962
阅读 2
收藏 0

该系列将描述一些自然语言处理方面的技术,完整目录请点击这里


在本节中,我们描述一个重要的监督学习模型。


图 1:命名实体识别作为标记问题。这里有三种不同的实体类型:PERSON,LOCATION 和 COMPANY。对于每个实体类型,我们为该实体引入一个开始标签或者实体延续标签。标签 NA 表示这个词不是一个实体。

接下来,我们来介绍一个用于标记问题的特定生成模型——隐马尔可夫模型。

我们先来确定一些监督学习的符号。我们假设我们的训练集是 (x^(i), y^(i)), ..., (x^(m), y^(m)) ,其中输入的句子序列是 x^(i),对应的标记序列是 y^(i) 。我们假设输入句子序列集合是 X,输出句子序列集合是 Y。那么,我们的任务就是设计一个映射函数 f :X -> Y 。

其中一种定义函数 f(x) 的方法是设计条件模型。在这种方法中,我们定义了一个条件概率模型:


对于任何的 (x, y) 都适用。模型的参数估计可以从训练集中得到。之后,如果我们从测试集中输入 x ,那么模型的输出结果就是:


因此,我们简单地将最有可能的预测标签 y 作为模型的输出。如果我们的模型 p(y | x) 给出的序列标签非常接近于真实条件分布,则函数 f(x) 将非常接近于最优状态。

另一种比较常用的方法是生成模型,在生成模型中,我们不是直接估计条件概率 p(y|x) 的值,而是使用联合概率:


进一步,我们可以将联合概率分解成如下:


然后分别估计 p(y) 和 p(x | y) 模型。这两个模型的具体解释如下:

  • p(y) 是标签 y 的先验概率分布。
  • p(x|y) 是在给定标签 y 的前提下,生成 x 的概率。

我们可以发现,在很多情况下,以这种方式分解模型是非常方便的。例如,语音识别的经典方法是基于这种类型分解的。

给定一个生成模型,我们可以使用贝叶斯规则来导出任何 (x, y) 对的条件概率 p(y|x):


因此,联合概率是非常通用的。

在新的测试用例上面,我们直接使用贝叶斯来处理联合概率模型。给定输入 x ,我们的模型 f(x) 的输出如下:


将联合概率分解为 p(y) 和 p(x | y) 的模型通常被称之为噪声通道模型。直观上来说,当我们看到一个测试例子 x 时,我们假设模型已经产生了两个步骤:首先,以概率 p(y) 选择了一个标签 y;第二,从分布 p(x | y) 生成示例 x。模型 p(x|y) 可以被解释为一个“通道”,它将标签 y 作为其输入,并将其破坏以产生 x 作为输出。我们的任务是根据我们的输入 x,找到最可能的输出标签 y。

最后,总结一下:

  • 我们的任务是去学习一个映射函数:y = f(x),我们假设训练集是 (x^(i), y^(i)) for i = 1, ..., n.
  • 在噪声通道模型中,我们使用训练数据来评估 p(y) 和 p(x|y),这些模型定义了一个联合(生成)模型:

  • 给定一个新的测试样例 x,我们预测标签:

根据输入的 x ,去寻找输出 f(x),这个问题经常被称之为解码问题。

本文转载自:http://www.jianshu.com/p/4771d468ee80

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
CVPR 2018文章解读——腾讯AI Lab

今天继续上次的话题,来认识下今天的主题——类人化标注:多样性和独特性图像标注。 该主要提出了一种全新的自动图像标注的生成式模型,名为多样性和独特性图像标注(D2IA)。受到人类标注集...

gzq0723
05/16
0
0
思必驰-上海交大实验室14篇 ICASSP 2018入选论文解读

雷锋网(公众号:雷锋网) AI 科技评论按:为期 5 天的 ICASSP 2018,已于当地时间 4 月 20 日在加拿大卡尔加里(Calgary)正式落下帷幕。ICASSP 全称 International Conference on Acoustics,...

奕欣
05/04
0
0
华中科大陈俊:详细解读深度学习之星GAN的原理 | 分享总结

雷锋网AI研习社按:生成式对抗网络(GAN)是近两年机器学习领域的新秀,被Yann LeCun称为"过去十年机器学习界最有趣的idea",目前已经得到广泛研究者的关注并且以高频论文数出现在各大顶会上...

杨文
2017/12/14
0
0
麦克风阵列语音识别——(make machine understand us)

基于麦克风阵列增强的语音识别 基于麦克风阵列增强的语音识别,与单通道语音识别相比麦克风阵列可以利用多通道的语音信息,通过波束形成算法来增强语音信号的质量,这样提取的特征参数能更好...

chenxiao60
2016/06/01
291
0
TinyOS下TOSSIM仿真CTP

TinyOS的仿真真的是个好东西,跟着下面的步骤做一遍就知道是什么意思了,下面是在Ubuntu下终端的大体演示。 执行命令 TestNetWork文件的源代码里带有仿真需要的文件,待会再解释 。 我在Ubu...

Roam_Co
04/27
0
0

没有更多内容

加载失败,请刷新页面

加载更多

Mac OS X下Maven的安装与配置

Mac OS X 安装Maven: 下载 Maven, 并解压到某个目录。例如/Users/robbie/apache-maven-3.3.3 打开Terminal,输入以下命令,设置Maven classpath $ vi ~/.bash_profile 添加下列两行代码,之后...

TonyStarkSir
今天
3
0
关于编程,你的练习是不是有效的?

最近由于工作及Solution项目的影响,我在重新学习DDD和领域建模的一些知识。然后,我突然就想到了这个问题,以及我是怎么做的? 对于我来说,提升技能的项目会有四种: 纯兴趣驱动的项目。即...

问题终结者
今天
4
0
打开eclipse出现an error has occurred see the log file

解决方法: 1,打开eclipse安装目录下的eclipse.ini文件; 2,打开的文本文件最后添加一行 --add-modules=ALL-SYSTEM 3,保存重新打开Eclipse。...

任梁荣
昨天
4
0
搞定Northwind示例数据库,无论哪个版本的SQLServer都受用

Northwind数据库 从这里可以找到突破口: http://social.msdn.microsoft.com/Forums/zh-CN/Vsexpressvb/thread/8490a1c6-9018-40c9-aafb-df9f79d29cde 下面是MSDN: http://msdn2.microsoft......

QQZZFT
昨天
1
0
mysql主从同步,安装配置操作

准备 两台mysql服务,我这里准备了如下: 主库:192.168.176.128 从库:192.168.176.131 如何在Linux上安装mysql服务,请看https://blog.csdn.net/qq_18860653/article/details/80250499 操作...

小致dad
昨天
5
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部