文档章节

【转】田渊栋教你读paper的正确姿势

AllenOR灵感
 AllenOR灵感
发布于 2017/09/10 01:25
字数 1311
阅读 1
收藏 0
点赞 0
评论 0

作为入行数年的专业科研从业者,你每周看几篇论文?

这是一个知乎上的问题。作为卡耐基梅隆大学机器人系的毕业生、Facebook人工智能研究室(FAIR)的研究人员,田渊栋给出了下面这个回答。
盲目追求论文数量无意义,知道怎么读更重要。



背景:人工智能,强化学习
追求数目没有意义。读文章一般两个目的:

  1. 看大家在做什么,找方向。

这时候一般读读Abstract和Introduction,对领域有初步了解,知道它主要关于什么,搞清一些概念的含义和联系。这时候不懂没关系,多看几篇文章就懂了。一般聪明的人这一步可以做得很快。

  1. 搞清细节

找一个自己感兴趣的方向精读,把里面的课题思路和推理细节搞明白,并且还要顺藤摸瓜找到其它大量的相关文献继续读下去。标准是在脑里能有对这个领域有清楚的脉络,能做到独立完成大部分推导和证明。
一个靠谱的检查方法是给同组的人或者导师做个讲座,看他们能听懂不。很多时候自己以为懂了,其实和别人一说马上就露出马脚。同时讨论也可以激发新思路,说不定就能找到下一篇文章的出发点。这一步往往会花费一个科研人员大量时间,也是业余和职业科研的关键区别所在。
总之分配给每篇文章的时间天差地别。烂文几秒钟就可以放弃,而经典文章还需要每过一阵子回头再去看一看想一想。至于如何评判文章质量,那就得要靠长年科研积累出来的品味了。
接下来的两个阶段就不是光看论文可以看出来的。

  1. 写代码实现别人的工作,并且改进

每篇文章都会有意或者无意抬高自己贬低别人,都存在一些有意或者无意隐藏的细节,这些不亲手做是看不到的。所以得要动手花时间去实现别人的方法,想方设法达到别人的效果,然后反过来再看看文章。
时间长了马上就会学到故意隐藏的蛛丝马迹,理解别人留白的道理。光看文章的话,这类经验的积累要慢很多。一般说的“纸上谈兵”就是指这一步没做。
我在15年1月刚去Facebook AI Research的时候,在深度学习上还没有实际操作经验。交给我的第一件事情是复现VGG在ImageNet上的性能,那时还没有BatchNorm,跑5个有2个能开始收敛的就不错了,最后花了几周搞定了。整个过程让我学到不少经验。

  1. 总结经验,融会贯通,找到并且遵循自己的方法论

重复3很多次之后,可能会觉得自己比较有经验了。别人问起的时候也能侃侃而谈,但说的往往是一些分散且孤立的经验。并且你会发现自己很容易遗忘这些经验,这个并不是因为记忆力不好,而是因为思路不系统。
这个就需要反复思考反复提炼,从而形成自己的方法论。有了方法论之后,心里就有大方向而不会随便乱试乱撞,效率就会高很多,并且能在一个科研方向上挖很深坚持很久,而不是哪个课题热做哪个。在指导别人的时候也可以做到有的放矢。

在这个基础上再看文献,往往就会读懂很多一开始读不懂的东西。比如说为什么作者要强调A而否认B,那是因为他相信A后面的哲学和方法论。
如果你发现自己提炼不了,或者本来知识就是凌乱的,那么要么就是(1)境界未到,要么就是(2)领域还没有成熟,目前的知识点只是零碎的拼凑。(1)要靠自己练,(2)则预示着大机遇,一个研究者牛不牛就看他是不是可以在别人都放弃的地方找到新的规律。

一般完成1是新闻及科普的水平,2到3是博士生低年级至高年级的水平,精通3到初入4是博后的水平,精通4则是研究员和教授的水准。
另外,从1到4并没有特别固定的顺序,可能你在某个领域是4,另一个领域还只是1或2的程度;或者你在4中获得的经验能反过来帮助1和2(这个很常见);或者一上来就可以跳过2做3,然后等3有了结果之后再去补2,等等。当然,一步跳到4那是民科的水平。


来源:量子位

本文转载自:http://www.jianshu.com/p/a8010a706b09

共有 人打赏支持
AllenOR灵感
粉丝 10
博文 2634
码字总数 82983
作品 0
程序员
报名 | 汇集海外知名AI博士生,上海纽约大学下周有场研讨会

  东方科技论坛青年学者论坛:人工智能海外博士生研讨会,汇集了世界顶级高校的高年级博士生,专业覆盖当前人工智能的多个热点领域。   会议委员会由顶尖青年学者组成,与会者经委员会精...

机器之心
2017/12/17
0
0
Facebook 开源 AI 围棋源代码,击败职业棋手只需一块GPU

雷锋网(公众号:雷锋网) AI 科技评论消息:5 月 2 日,Facebook AI Research(FAIR)官网博客中宣布开源其 AI 围棋机器人 ELF OpenGo(包括源代码和一个训练好的模型),该机器人是基于 ELF ...

camel
05/04
0
0
读《周易》·乾卦第一有感——凡事过犹不及

           一、正文、结构及释义   乾为天   伟大的天乾卦上卦 为君的道乾卦下卦   乾:元,亨,利,贞。(《乾》卦象征天:元始,亨通,和谐有利,贞正坚固。此为乾卦卦辞)...

人工智能AI产品经理
06/06
0
0
活动合作 | AI NEXTCon 硅谷AI技术峰会(北京分会)大咖来袭

5月12日硅谷峰会的北京分会来啦。 4月,AI NEXTCon 技术峰会主会场在硅谷举行,邀请了包括Google资深院士Jeff Dean大神,Pinterest首席科学家、斯坦福教授Jure Leskovec,Facebook AI 资深研...

yh0vlde8vg8ep9vge
05/04
0
0
一场顶级学术会议一票难求背后,是AI产业热浪下学界的矛盾与茫然

  一张黑白纸,上面印着 logo NIPS、参会者的信息和一些简单图案。在 12 月 4 日,由于开放注册后的短短十天已经卖完入场票,这张极简证件成为不少机器学习领域关注者们炫耀的「奢侈品」。...

深度学习
2017/12/19
0
0
专栏 | 田渊栋:第一届FLAIR感想

  机器之心专栏   作者:田渊栋   作为这次东方科技论坛,人工智能海外博士生研讨会(Future Leaders of AI Retreat, FLAIR)的组织者之一(感谢上海纽约大学张峥教授牵头),我觉得这...

机器之心
2017/12/27
0
0
【田渊栋年度总结】FAIR强化学习研究进展,理论研究竞争也相当激烈

今年的主要研究方向是两个:一是强化学习及其在游戏上的应用,二是深度学习理论分析的探索。 今年理论方向我们做了一些文章,主要内容是分析浅层网络梯度下降非凸优化的收敛性质。首先是上半...

技术小能手
2017/12/27
0
0
微信公众号开发小记——3.接入三方登录

为什么要接入三方登录 如果你的微信服务器要做复杂的逻辑,比如html5、给用户提供高级的服务,并且有很好看的页面等等,这种时候你就需要一个正常的web服务器,用户打通就需要做三方登录了。...

D咄咄
2017/11/29
0
0
创业公司撒谎的正确姿势是怎样的?

  一亩田在周五(8月28日)晚大规模辞退销售员工,辞退理由是“严重违反了公司的规章制度”。一亩田曾因“数据造假问题”闹得风生水起,关于创业公司撒谎造假的问题也再次进入人们的眼线。是...

于明
2015/09/01
0
0
微信公众号开发小记——3.接入三方登录

为什么要接入三方登录 如果你的微信服务器要做复杂的逻辑,比如html5、给用户提供高级的服务,并且有很好看的页面等等,这种时候你就需要一个正常的web服务器,用户打通就需要做三方登录了。...

duoduo3_69
2016/04/15
165
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

组件及路由理论知识

一、 组件component 1. 什么是组件? 组件(Component)是 Vue.js 最强大的功能之一。组件可以扩展 HTML 元素,封装可重用的代码组件是自定义元素(对象) 2. 定义组件的方式 方式1:先创建...

一个yuanbeth
刚刚
0
0
Saltstack配置之 nodegroups

#cd /etc/salt #mkdir master.d #vim node.conf //按组写入文件 nodegroups: client_all: 'L@192.168._._,192.168._._' clienta: 'L@192.168.192._' clientb: 'L@192.168.192._' #/etc/init......

硅谷课堂
6分钟前
0
0
expect(spawn) 自动化git提交和scp拷贝---centos(linux)

**在进行SCP文件拷贝中,往往需要进行用户密码的输入,即用户交互。若采用自动化脚本的方式进行,则可用以下方式: ** #!/usr/bin/expect #设置参数 set src [lindex $argv 0] set dest [lin...

helplove
10分钟前
1
0
用Build来构建对象的写法

如果一个类的属性过多,用构造器来构建对象很难写,因此我们时用Build方式来构建对象。写法大致如下。 import java.io.Serializable;import java.util.Date;public class Log impleme...

算法之名
13分钟前
11
0
利用 acme.sh 获取网站证书并配置https访问

acme.sh 实现了 acme 协议, 可以从 letsencrypt 生成免费的证书.(https://github.com/Neilpang/acme.sh/wiki/%E8%AF%B4%E6%98%8E) 主要步骤: 安装 acme.sh 生成证书 copy 证书到 nginx/ap...

haoyuehong
26分钟前
2
0
微擎框架内如何根据media_id获取到微信图片的路径

微擎的框架内,图片选择后,获取的是那个字符串是media_id,相当于你这张图片在微信的图片服务器里面的id 要求是:获取https://mmbiz.qpic.cn/mmbiz_jpg/…… 微信图片的路径 而微信并没有根据m...

老bia同学
30分钟前
2
0
Spring boot中日期的json格式化

Model 在model层中,类的日期属性上面添加如下注解: @JsonFormat(shape = JsonFormat.Shape.STRING, pattern = "yyyy-MM-dd hh:mm:ss") 参考 Jackson Date格式化教程...

亚林瓜子
31分钟前
2
0
Eclipse:Failed to load the JNI shared library

1.问题背景: 由于我之前使用jdk1.9学习,当使用Luke的时候发现jdk版本过高,需要向下配置jdk,就向朋友拷了一个安装包。重新配置路径后,便开始报错。 2.问题描述: Failed to load the JNI...

tinder_boy
34分钟前
1
0
少儿学习编程课程是否真的适合七八岁的低龄儿童[图]

少儿学习编程课程是否真的适合七八岁的低龄儿童[图]: 天下熙熙皆为利来,天下攘攘皆为利往。 这几年来,乐高教育机构在国内如同雨后春笋般出现,当然关闭/转手的也很多。从教师角度来看,部...

原创小博客
39分钟前
1
0
ES12-词项查询

1.词项查询介绍 全文查询将在执行之前分析查询字符串,但词项级别查询将按照存储在倒排索引中的词项进行精确操作。这些查询通常用于数字,日期和枚举等结构化数据,而不是全文本字段。 或者,...

贾峰uk
47分钟前
2
0

没有更多内容

加载失败,请刷新页面

加载更多

下一页

返回顶部
顶部