文档章节

A Paper A Day: #1 Convolutional Sequence to Sequence Learning

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 370
阅读 15
收藏 0

从今天开始,我会对一些研究论文做一个简短的摘要,我个人比较关注的领域是机器学习,强化学习和自然语言处理。我希望这个简短的摘要可以帮助到你。当然,我也有别的目的。我希望我能通过每天的阅读,可以帮助我提高论文写作和分析能力。

今天,我们来讨论一下最近的 Facebook AI research(FAIR)那篇卷积序列学习论文。以下是阅读本文的主要观点:

主要成果

  1. 对于机器翻译任务,卷积神经网络也能取得比较好的效果。

  2. 与循环神经网络相比,卷积神经网络具有高度并行性。因此,机器翻译系统可以做的更快。作者在性能上面提高了 9 倍。

  3. 多跳机制:网络不是一个句子一个句子看,而是多个句子一起看,这样才能产生更好的翻译。

为什么选择 CNN 而不是 RNN?

速度和可扩展性!

实验结果

  1. 在 WMT'16 英语 - 罗马尼亚语的翻译中取得最先进的结果,超过以前的最佳结果 1.8 BLEU。

  2. 在 WMT'14 英语 - 德语翻译中,结果比强大的 LSTM (Wu et al.(2016))还要好。

  3. 此外,作者说他的翻译速度提升了 9 倍。

代码

完整代码请点击这里


来源:Medium

本文转载自:http://www.jianshu.com/p/9ce889258e9e

共有 人打赏支持
AllenOR灵感
粉丝 11
博文 2635
码字总数 83001
作品 0
程序员
私信 提问
Keras 深度学习框架相关资源

来自Keras作者(英文):https://github.com/fchollet/keras-resources 中文资源:https://my.oschina.net/u/2306127/blog?catalog=3744998&temp=1473895683108 Keras 深度学习框架相关资源 这......

openthings
2016/09/15
349
0
Applied Deep Learning Resources

Contact GitHub API Training Shop Blog About © 2016 GitHub, Inc. Terms Privacy Security Status Help...

wangxiaocvpr
2016/08/22
0
0
基于CNN的Seq2Seq模型-Convolutional Sequence to Sequence Learning

Seq2seq是现在使用广泛的一种序列到序列的深度学习算法,在图像、语音和NLP,比如:机器翻译、机器阅读、语音识别、智能对话和文档摘要生成等,都有广泛的应用。Seq2Seq模由encoder和decoder...

lqfarmer
2017/05/24
0
0
CRNN论文翻译——中英文对照

文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! An End-to-End Trainable Neural Network for Image-based Sequence ...

Quincuntial
2017/08/29
0
0
deep learning博客索引

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/robinXushuai/article/details/80686787 Notes of the specilization about deeplearning.ai provided by And......

_席达_
06/15
0
0

没有更多内容

加载失败,请刷新页面

加载更多

大数据教程(9.5)用MR实现sql中的jion逻辑

上一篇博客讲解了使用jar -jar的方式来运行提交MR程序,以及通过修改YarnRunner的源码来实现MR的windows开发环境提交到集群的方式。本篇博主将分享sql中常见的join操作。 一、需求 订单数据表...

em_aaron
10分钟前
0
0
十万个为什么之什么是resultful规范

起源 越来越多的人开始意识到,网站即软件,而且是一种新型的软件。这种"互联网软件"采用客户端/服务器模式,建立在分布式体系上,通过互联网通信,具有高延时(high latency)、高并发等特点...

尾生
16分钟前
0
0
《告诉你真实的美国教育》的读后感3900字

《告诉你真实的美国教育》的读后感3900字: 文章的开篇分析了我们耳熟能详的关于美国教育的小故事,就是那个因为幼儿园的老师教了“0”这个字母,然后妈妈告老师剥夺了孩子的想象力,再然后幼...

原创小博客
24分钟前
0
0
Terraform配置文件(Terraform configuration)

Terraform配置文件 翻译自Terraform Configuration Terraform用文本文件来描述设备、设置变量。这些文件被称为Terraform配置文件,以.tf结尾。这一部分将讲述Terraform配置文件的加载与格式。...

buddie
39分钟前
2
0
exportfs命令, vsftp搭建ftp服务

exportfs命令 当修改/etc/exports文件后,更改的内容是不会立即生效的。如果重启nfs服务,会导致客户端重启期间的请求是挂起等待的,可以把客户端的挂载umount进行卸载后,再重启nfs服务,但...

野雪球
50分钟前
1
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部