文档章节

A Paper A Day: #1 Convolutional Sequence to Sequence Learning

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 370
阅读 14
收藏 0

从今天开始,我会对一些研究论文做一个简短的摘要,我个人比较关注的领域是机器学习,强化学习和自然语言处理。我希望这个简短的摘要可以帮助到你。当然,我也有别的目的。我希望我能通过每天的阅读,可以帮助我提高论文写作和分析能力。

今天,我们来讨论一下最近的 Facebook AI research(FAIR)那篇卷积序列学习论文。以下是阅读本文的主要观点:

主要成果

  1. 对于机器翻译任务,卷积神经网络也能取得比较好的效果。

  2. 与循环神经网络相比,卷积神经网络具有高度并行性。因此,机器翻译系统可以做的更快。作者在性能上面提高了 9 倍。

  3. 多跳机制:网络不是一个句子一个句子看,而是多个句子一起看,这样才能产生更好的翻译。

为什么选择 CNN 而不是 RNN?

速度和可扩展性!

实验结果

  1. 在 WMT'16 英语 - 罗马尼亚语的翻译中取得最先进的结果,超过以前的最佳结果 1.8 BLEU。

  2. 在 WMT'14 英语 - 德语翻译中,结果比强大的 LSTM (Wu et al.(2016))还要好。

  3. 此外,作者说他的翻译速度提升了 9 倍。

代码

完整代码请点击这里


来源:Medium

本文转载自:http://www.jianshu.com/p/9ce889258e9e

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
Keras 深度学习框架相关资源

来自Keras作者(英文):https://github.com/fchollet/keras-resources 中文资源:https://my.oschina.net/u/2306127/blog?catalog=3744998&temp=1473895683108 Keras 深度学习框架相关资源 这......

openthings
2016/09/15
349
0
Applied Deep Learning Resources

Contact GitHub API Training Shop Blog About © 2016 GitHub, Inc. Terms Privacy Security Status Help...

wangxiaocvpr
2016/08/22
0
0
Deep learning From Image to Sequence

本文笔记旨在概括地讲deep learning的经典应用。内容太大,分三块。 --------------------------------------------------------------------------------------------- Content 1. 回想 de......

技术mix呢
2017/11/15
0
0
CRNN论文翻译——中英文对照

文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! An End-to-End Trainable Neural Network for Image-based Sequence ...

Quincuntial
2017/08/29
0
0
基于CNN的Seq2Seq模型-Convolutional Sequence to Sequence Learning

Seq2seq是现在使用广泛的一种序列到序列的深度学习算法,在图像、语音和NLP,比如:机器翻译、机器阅读、语音识别、智能对话和文档摘要生成等,都有广泛的应用。Seq2Seq模由encoder和decoder...

lqfarmer
2017/05/24
0
0

没有更多内容

加载失败,请刷新页面

加载更多

打开eclipse出现an error has occurred see the log file

解决方法: 1,打开eclipse安装目录下的eclipse.ini文件; 2,打开的文本文件最后添加一行 --add-modules=ALL-SYSTEM 3,保存重新打开Eclipse。...

任梁荣
昨天
3
0
搞定Northwind示例数据库,无论哪个版本的SQLServer都受用

Northwind数据库 从这里可以找到突破口: http://social.msdn.microsoft.com/Forums/zh-CN/Vsexpressvb/thread/8490a1c6-9018-40c9-aafb-df9f79d29cde 下面是MSDN: http://msdn2.microsoft......

QQZZFT
昨天
1
0
mysql主从同步,安装配置操作

准备 两台mysql服务,我这里准备了如下: 主库:192.168.176.128 从库:192.168.176.131 如何在Linux上安装mysql服务,请看https://blog.csdn.net/qq_18860653/article/details/80250499 操作...

小致dad
昨天
3
0
一个手机装天下,走遍中国都不怕!

导读 “1200元(人民币,下同),微信支付,可以,你扫我。”来自西非马里共和国的展商Albert拿着手机,和一位买走他手鼓的中国游客用简单的汉语交流着。 近日,“第十四届中俄蒙经贸洽谈暨商品...

问题终结者
昨天
2
0
Redis的“死键”问题

大规模的数据库存储系统中,数据的生命周期管理是很有必要的;从业务角度发现过期数据,数据归档和数据碎片整理等。以MySQL为例,1个运行很久的TB级MySQL实例中,极有可能数百GB的数据,对业...

IT--小哥
昨天
2
0

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部