文档章节

ILSVRC比赛带来的算法

o
 osc_g8254g7s
发布于 2019/08/19 18:54
字数 893
阅读 7
收藏 0

精选30+云产品,助力企业轻松上云!>>>

李飞飞和它的团队搜集了ImageNet一个超过15 million的图像数据集,大约有22,000类。这个文件集合对深度卷积网络极大地推进深度学习各领域的发展.

ILSVRC是对ImageNet进行分类,检测,定位的比赛,作为最具影响力的竞赛它的作用功不可没,从中也促使了许多经典工作。

ImageNet的定位结果

网络/队名 val top-5 test top-5 备注
2012 AlexNet   34.19% 多伦多大学Hinton和他学生
2012 AlexNet   33.55% 用了2011年的数据
2013 OverFeat 30.0% 29.87% 纽约大学Lecun团队
2014 GoogleNet   26.44% 谷歌
2014 VGG 26.9% 25.32% 牛津大学
2015 ResNet 8.9% 9.02% 微软
2016 Trimps-Soushen   7.71% 公安三所,以Inception, resNet, WRN等为基础
2017 DPN   6.23% 新加坡国立大学与奇虎360

ImageNet的检测结果

网络/队名 mAP(%) 备注
2013 OverFeat 19.40 使用了12年的分类数据预训练
2013 UvA 22.58  
2013 OverFeat 24.3 赛后。使用了12年的分类数据预训练
2014 GoogleNet 43.93 R-CNN
2015 ResNet 62.07 Faster R-CNN
2016 CUImage 66.28 商汤和港中文,以GBD-Net等为基础
2017 BDAT 73.41 南京信息工程大学和帝国理工学院

ImageNet的分类结果

网络/队名 val top-1 val top-5 test top-5 备注
2012 AlexNet 38.1% 16.4% 16.42% 5 CNNs
2012 AlexNet 36.7% 15.4% 15.32% 7CNNs。用了2011年的数据
2013 OverFeat     14.18% 7 fast models
2013 OverFeat     13.6% 赛后。7 big models
2013 ZFNet     13.51% ZFNet论文上的结果是14.8
2013 Clarifai     11.74%  
2013 Clarifai     11.20% 用了2011年的数据
2014 VGG     7.32% 7 nets, dense eval
2014 VGG(亚军) 23.7% 6.8% 6.8% 赛后。2 nets
2014 GoogleNet v1     6.67% 7 nets, 144 crops
  GoogleNet v2 20.1% 4.9% 4.82% 赛后。6 nets, 144 crops
  GoogleNet v3 17.2% 3.58%   赛后。4 nets, 144 crops
  GoogleNet v4 16.5% 3.1% 3.08% 赛后。v4+Inception-Res-v2
2015 ResNet     3.57% 6 models
2016 Trimps-Soushen     2.99% 公安三所
2016 ResNeXt(亚军)     3.03% 加州大学圣地亚哥分校
2017 SENet     2.25% Momenta 与牛津大学

首先诞生的是,1986年:

LeNet

 

 

到了2012年:

AlexNet

 

AlexNet结构优化 非线性激活函数:

ReLU 防止过拟合的方法:Dropout,Data augmentation(数据增强)

大数据训练:百万级ImageNet图像数据

GPU实现:在每个GPU中放置一半核(或神经元),还有一个额外的技巧: GPU间的通讯只在某些层进行。

LRN归一化:本质上,这个层也是为了防止激活函数的饱和的。

再到后来该进了alex后出来了ZFNet:

ZFNet

GoogleNet

 GoogleNet中的特殊结构Interception:

Inception架构的主要思想是找出如何让已有的稠密组件接近与覆盖卷积视觉网络中的最佳局 部稀疏结构。

为了避免patch校准问题,现在的滤波器大小限制在1x1,3x3和5x5,主要是为了方便,不是 必要的。

另外,在pooling层添加一个额外的并行pooling路径用于提高效率。

架构的第二个主要思想:在计算要求增加很多的地方应用维度缩减 和预测。即,在3x3和5x5的卷积前用一个1x1的卷积用于减少计算, 还用于修正线性激活。如下图所示,左边是加入维度缩减之前的, 右边是加入维度缩减之后的。

VGG

 

ResNet

ILSVRC2015冠军,比VGG深8倍,超深网络, 最高可以达到152层;引入残差结构,更改 参数w的修改规则;top-5错误率3.6%;参 数更新中使用到RNN的思想。

ResNet中特殊的结构:

连接方式叫做“shortcut connection” ,顾名思义, shortcut就是“抄近道”的意思。

 

o
粉丝 0
博文 500
码字总数 0
作品 0
私信 提问
加载中
请先登录后再评论。

暂无文章

如何将div放置在其容器的底部? - How can I position my div at the bottom of its container?

问题: Given the following HTML: 鉴于以下HTML: <div id="container"> <!-- Other elements here --> <div id="copyright"> Copyright Foo web designs </div> </div> I would like #cop......

富含淀粉
36分钟前
10
0
unity列表控件Horizontal/Vertical/Grid Layout Group用法介绍

1. Grid Layout Group 为Panel控件添加Grid Layout Group,子控件为四个按钮,分别为Grid,Calendar,Gear,User: 默认属性为 为方便演示,按钮的底色为控件自带image,按钮上面的图标为其子...

路过暴风
今天
19
0
Distinct()与lambda? - Distinct() with lambda?

问题: Right, so I have an enumerable and wish to get distinct values from it. 是的,所以我有一个可枚举的,并希望从中获得不同的值。 Using System.Linq , there's of course an ext......

法国红酒甜
今天
8
0
学习编写编译器[关闭] - Learning to write a compiler [closed]

问题: Preferred languages : C/C++, Java, and Ruby. 首选语言 :C / C ++,Java和Ruby。 I am looking for some helpful books/tutorials on how to write your own compiler simply for......

技术盛宴
今天
17
0
OSChina 周一乱弹 —— 毛巾又怎么样?!我在乎的是大姐姐温柔的怀抱!

Osc乱弹歌单(2020)请戳(这里) 【今日歌曲】 @薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《雨 因你而下,于你而止》- Seto 手机党少年们想听歌,请使劲儿戳(这里) @Dan...

小小编辑
今天
43
1

没有更多内容

加载失败,请刷新页面

加载更多

返回顶部
顶部