文档章节

如何让机器拥有人类的智慧?| 论文访谈间 #09

小虾米DYX
 小虾米DYX
发布于 2017/08/21 14:31
字数 956
阅读 1
收藏 0

点击查看全文

 

在神经机器翻译(Neural Machine Translation, NMT)中,由于机器不具有人类的智慧,因此常常会犯一些低级的错误。例如,在中-英翻译中,原中文句子含有 10 个词,而机器却有时翻译出一个含有 50 个词的句子或者是只含有 2 个词的句子。 不管内容如何,在人类看来这样的翻译很显然是不对的。那么如何能让机器拥有人类的智慧,从而避免这种低级的错误呢?近日,我们有幸采访到了清华大学的张嘉成,介绍他发表在 ACL2017 上的工作 - Prior Knowledge Integration for Neural Machine Translation using Posterior Regularization。 

 

我们常常将“人类的智慧”称为“先验知识(prior knowledge)”。如何将“先验知识”融合到机器学习模型中?该工作沿用了 Kuzman Ganchev 等人在 2010 年提出的“后验正则化(Posterior Regularization, PR)”方法。该方法可以表示为公式 (1),(2)。其中公式 (2) 代表先验知识的约束;公式 (1) 表示为使得模型求出的后验分布 P(y|x) 和先验分布 q(y) 尽可能地接近,将两者的 KL 距离作为模型目标函数的正则项。但是这个方法难以直接应用到 NMT 领域,原因有两点:1)对于不同的先验知识,很难给出一个固定的 b 作为边界值;2)训练目标是一个 max-min 问题,需要通过 EM 算法求解,难以通过基于导数的优化方法训练。

 

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

 

因此在张嘉成等人的工作中,他们将公式 (2) 中的约束集合替换为对数线性模型表示的先验分布,如公式 (3),(4) 所示。公式 (4) 中的 ϕ(x,y) 代表“特征函数”,对于不同句对 (x, y),先求出其特征值并乘以权重参数 γ,再经过 softmax 得到先验分布 Q(y|x),该分布即为原方法中的 q(y)。经过这种改进,使得模型可以直接利用基于导数的优化方法训练,而不需使用 EM 算法进行求解。同时,特征函数 ϕ(x,y) 可以有不同的定义,因此增大了模型的通用性和可扩展性。

 

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

 

为引入不同的先验知识,文章中采用了 4 类特征: 

 

1. 双语词典特征:人的先验知识中包含词和词的对应关系,例如,爱-love。因此,对于双语词典 D 中的任意一个词对 <x, y>,该特征值定义为公式 (5)。含义为,如果该词对出现在翻译句对中,则记 1。也就是对于一个翻译句对,该特征表示“原句和翻译句中出现的词对的数量”。目的是鼓励按照词典进行翻译。

 

 

640?wx_fmt=png&tp=webp&wxfrom=5&wx_lazy=

 

2. 短语表特征:同样,人还知道词组和词组的对应关系,例如:纽约- New York。因此这个特征的定义和双语词典特征类似,如公式(6)所示。对于外部短语表中的任意短语对<x ̃, y ̃>, 如果出现在翻译句对中,则记1。也就是对于一个翻译句对,该特征表示“原句和翻译句中出现的短语对的数量”。目的是鼓励按照短语表进行翻译。

 

点击查看全文

本文转载自:http://click.aliyun.com/m/28871/

小虾米DYX
粉丝 0
博文 113
码字总数 0
作品 0
海淀
私信 提问
AlphaZero:一种人类从未见过的智慧

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/McIl9G4065Q/article/details/85333099 关注网易智能,聚焦AI大事件,读懂下一个大时代! 出品 | 网易智能(公...

网易智能
2018/12/28
0
0
AI能帮科学家找到外星人吗?或许它能给出“意外提示”

据科学美国人杂志报道,在寻找外星智慧生命(SETI)的过程中,我们经常寻找与我们拥有类似智慧、技术和交流方式的生命体。但是天文学家、SETI(搜寻地外文明)的先驱者吉尔·塔特(Jill Tarter...

网易科技
2018/05/17
0
0
从卡辛斯基到人工智能

特斯拉与 Space X 的 CEO 埃隆·马斯克这两天不太消停,他经常在 Twitter 上公开鼓吹对人工智能技术潜在风险的担忧。他甚至预言,全球人工智能开发竞赛是第三次世界大战的「最可能诱因」。该...

BearyChat倍洽
2017/09/25
0
0
霍金留给人类的最后警告:新书预言超级智能和超人会降临

硅谷Live / 实地探访 / 热点探秘 / 深度探讨 霍金生前的最后一本著作“Brief Answers to the Big Questions”近日正式出版。他在书中认为,技术奇点之后超级智能将出现,人类经过基因编辑之后...

硅谷密探
2018/10/21
0
0
不得不思考的五个人工智能风险

  随着物联网/AI时代来临,“弱人工智能”已先渗入人类生活,这些由具自主思考之机器所产生的不确定性也已开始在人类社会中发酵,我们不得不更早审视所有可能影响的人工智能范畴与其所产生...

中国机器人
2017/12/29
0
0

没有更多内容

加载失败,请刷新页面

加载更多

java通过ServerSocket与Socket实现通信

首先说一下ServerSocket与Socket. 1.ServerSocket ServerSocket是用来监听客户端Socket连接的类,如果没有连接会一直处于等待状态. ServetSocket有三个构造方法: (1) ServerSocket(int port);...

Blueeeeeee
今天
6
0
用 Sphinx 搭建博客时,如何自定义插件?

之前有不少同学看过我的个人博客(http://python-online.cn),也根据我写的教程完成了自己个人站点的搭建。 点此:使用 Python 30分钟 教你快速搭建一个博客 为防有的同学不清楚 Sphinx ,这...

王炳明
昨天
5
0
黑客之道-40本书籍助你快速入门黑客技术免费下载

场景 黑客是一个中文词语,皆源自英文hacker,随着灰鸽子的出现,灰鸽子成为了很多假借黑客名义控制他人电脑的黑客技术,于是出现了“骇客”与"黑客"分家。2012年电影频道节目中心出品的电影...

badaoliumang
昨天
15
0
很遗憾,没有一篇文章能讲清楚线程的生命周期!

(手机横屏看源码更方便) 注:java源码分析部分如无特殊说明均基于 java8 版本。 简介 大家都知道线程是有生命周期,但是彤哥可以认真负责地告诉你网上几乎没有一篇文章讲得是完全正确的。 ...

彤哥读源码
昨天
17
0
jquery--DOM操作基础

本文转载于:专业的前端网站➭jquery--DOM操作基础 元素的访问 元素属性操作 获取:attr(name);$("#my").attr("src"); 设置:attr(name,value);$("#myImg").attr("src","images/1.jpg"); ......

前端老手
昨天
7
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部