文档章节

A Paper A Day: #1 Convolutional Sequence to Sequence Learning

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 370
阅读 10
收藏 0
点赞 0
评论 0

从今天开始,我会对一些研究论文做一个简短的摘要,我个人比较关注的领域是机器学习,强化学习和自然语言处理。我希望这个简短的摘要可以帮助到你。当然,我也有别的目的。我希望我能通过每天的阅读,可以帮助我提高论文写作和分析能力。

今天,我们来讨论一下最近的 Facebook AI research(FAIR)那篇卷积序列学习论文。以下是阅读本文的主要观点:

主要成果

  1. 对于机器翻译任务,卷积神经网络也能取得比较好的效果。

  2. 与循环神经网络相比,卷积神经网络具有高度并行性。因此,机器翻译系统可以做的更快。作者在性能上面提高了 9 倍。

  3. 多跳机制:网络不是一个句子一个句子看,而是多个句子一起看,这样才能产生更好的翻译。

为什么选择 CNN 而不是 RNN?

速度和可扩展性!

实验结果

  1. 在 WMT'16 英语 - 罗马尼亚语的翻译中取得最先进的结果,超过以前的最佳结果 1.8 BLEU。

  2. 在 WMT'14 英语 - 德语翻译中,结果比强大的 LSTM (Wu et al.(2016))还要好。

  3. 此外,作者说他的翻译速度提升了 9 倍。

代码

完整代码请点击这里


来源:Medium

本文转载自:http://www.jianshu.com/p/9ce889258e9e

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2139
码字总数 82983
作品 0
程序员
Applied Deep Learning Resources

Contact GitHub API Training Shop Blog About © 2016 GitHub, Inc. Terms Privacy Security Status Help...

wangxiaocvpr ⋅ 2016/08/22 ⋅ 0

Keras 深度学习框架相关资源

来自Keras作者(英文):https://github.com/fchollet/keras-resources 中文资源:https://my.oschina.net/u/2306127/blog?catalog=3744998&temp=1473895683108 Keras 深度学习框架相关资源 这......

openthings ⋅ 2016/09/15 ⋅ 0

CRNN论文翻译——中英文对照

文章作者:Tyan 博客:noahsnail.com | CSDN | 简书 声明:作者翻译论文仅为学习,如有侵权请联系作者删除博文,谢谢! An End-to-End Trainable Neural Network for Image-based Sequence ...

Quincuntial ⋅ 2017/08/29 ⋅ 0

Deep learning From Image to Sequence

本文笔记旨在概括地讲deep learning的经典应用。内容太大,分三块。 --------------------------------------------------------------------------------------------- Content 1. 回想 de......

技术mix呢 ⋅ 2017/11/15 ⋅ 0

深度学习论文翻译

Deep Learning Papers Translation 如果觉得不错,可以去github给个star。 Image Classification ImageNet Classification with Deep Convolutional Neural Networks 中文版 中英文对照 Very......

Quincuntial ⋅ 01/25 ⋅ 0

基于CNN的Seq2Seq模型-Convolutional Sequence to Sequence Learning

Seq2seq是现在使用广泛的一种序列到序列的深度学习算法,在图像、语音和NLP,比如:机器翻译、机器阅读、语音识别、智能对话和文档摘要生成等,都有广泛的应用。Seq2Seq模由encoder和decoder...

lqfarmer ⋅ 2017/05/24 ⋅ 0

机器学习知识交换所(MLKX)

我在github上建了一个知识索引列表,以后会不断的刷新和结构化它。请点击此处访问我的列表。我的目的是不断的吸收各种机器学习,特别是深度学习的知识,构建称为机器学习的知识体系,然后我有...

戴德曼 ⋅ 2016/12/11 ⋅ 0

经典台大李宏毅机器学习课程从这里开始

相关链接: 课程主页:http://speech.ee.ntu.edu.tw/~tlkagk/coursesML16.html PPT打包下载:http://speech.ee.ntu.edu.tw/~tlkagk/courses/ML2016/all.rar...

yuejun318 ⋅ 02/02 ⋅ 0

SeqGAN——对抗思想与增强学习的碰撞

保留初心,砥砺前行 SeqGAN这篇paper从大半年之前就开始看,断断续续看到现在,接下来的工作或许会与GAN + RL有关,因此又把它翻出来,又一次仔细拜读了一番。接下来就记录下我的一点理解。 ...

加勒比海鲜王 ⋅ 2017/08/23 ⋅ 0

最全深度学习资源集合(Github:Awesome Deep Learning)

偶然在github上看到Awesome Deep Learning项目,故分享一下。其中涉及深度学习的免费在线书籍、课程、视频及讲义、论文、教程、网站、数据集、框架和其他资源,包罗万象,非常值得学习。 其中...

Deserts_X ⋅ 2017/11/24 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

CENTOS7防火墙命令记录

安装Firewall命令: yum install firewalld firewalld-config Firewall开启常见端口命令: firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd --zone=public --add-po......

cavion ⋅ 44分钟前 ⋅ 0

【C++】【STL】利用chromo来测量程序运行时间与日志时间打印精确到微秒

直接上代码吧,没啥好说的。头疼。 #include <iostream>#include <string>#include <ctime>#include <sstream>#include <iomanip>#include <thread>#include <chrono>using ......

muqiusangyang ⋅ 47分钟前 ⋅ 0

Mac环境下svn的使用

在Windows环境中,我们一般使用TortoiseSVN来搭建svn环境。在Mac环境下,由于Mac自带了svn的服务器端和客户端功能,所以我们可以在不装任何第三方软件的前提下使用svn功能,不过还需做一下简...

故久呵呵 ⋅ 56分钟前 ⋅ 0

破解公司回应苹果“USB限制模式”:已攻破

本周四,苹果发表声明称 iOS 中加入了一项名为“USB 限制模式”的功能,可以防止 iPhone 在连接其他设备的时候被破解,并且强调这一功能并不是针对 FBI 等执法部门,为的是保护用户数据安全。...

六库科技 ⋅ 58分钟前 ⋅ 0

MyBtais整合Spring Boot整合,TypeHandler对枚举类(enum)处理

概要 问题描述 我想用枚举类来表示用户当前状态,枚举类由 code 和 msg 组成,但我只想把 code 保存到数据库,查询处理,能知道用户当前状态,这应该怎么做呢?在 Spring 整合MyBatis 的时候...

Wenyi_Feng ⋅ 今天 ⋅ 0

synchronized与Lock的区别

# <center>王梦龙的读书笔记第一篇</center> ## <center>-synchronized与Lock的区别</centre> ###一、从使用场景来说 + synchronized 是能够注释代码块、类、方法但是它的加锁是和解锁使用一......

我不想加班 ⋅ 今天 ⋅ 0

VConsole的使用

手机端控制台打印输出,方便bug的排查。 首先需要引入vconsole.min.js 文件,然后在文件中创造实例。就能直接使用了。 var vConsole = new VConsole(); vConsole的文件地址...

大美琴 ⋅ 今天 ⋅ 0

Java NIO之字符集

1 字符集和编解码的概念 首先,解释一下什么是字符集。顾名思义,就是字符的集合。它的初衷是把现实世界的符号映射为计算机可以理解的字节。比如我创造一个字符集,叫做sex字符集,就包含两个...

士别三日 ⋅ 今天 ⋅ 0

Spring Bean基础

1、Bean之间引用 <!--如果Bean配置在同一个XML文件中,使用local引用--><ref bean="someBean"/><!--如果Bean配置在不同的XML文件中,使用ref引用--><ref local="someBean"/> 其实两种......

霍淇滨 ⋅ 今天 ⋅ 0

05、基于Consul+Upsync+Nginx实现动态负载均衡

1、Consul环境搭建 下载consul_0.7.5_linux_amd64.zip到/usr/local/src目录 cd /usr/local/srcwget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip 解压consu......

北岩 ⋅ 今天 ⋅ 0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部