作者孙培泽
转自知乎，已获授权转载，请勿二次转载
https://zhuanlan.zhihu.com/p/310058362
沿着目标检测领域中 Dense 和 Dense-to-Sparse 的框架，Sparse R-CNN建立了一种彻底的 Sparse 框架， 脱离 anchor box，reference point，Region Proposal Network(RPN)等概念，无需Non-Maximum Suppression(NMS) 后处理， 在标准的 COCO benchmark 上使用 ResNet-50 FPN 单模型在标准 3x training schedule 达到了 44.5 AP 和 22 FPS。
论文链接：https://msc.berkeley.edu/research/autonomous-vehicle/sparse_rcnn.pdf
项目链接：https://github.com/PeizeSun/SparseR-CNN
01
Motivation
-
第一大类是从非Deep时代就被广泛应用的dense detector，例如DPM，YOLO，RetinaNet，FCOS。在dense detector中， 大量的object candidates例如sliding-windows，anchor-boxes， reference-points等被提前预设在图像网格或者特征图网格上，然后直接预测这些candidates到gt的scaling/offest和物体类别。 -
第二大类是dense-to-sparse detector，例如，R-CNN家族。这类方法的特点是对一组sparse的candidates预测回归和分类，而这组sparse的candidates来自于dense detector。
-
NMS 后处理 -
many-to-one 正负样本分配 -
prior candidates的设计
02
Sparse R-CNN
Sparse R-CNN的两个显著特点就是sparse object candidates和sparse feature interaction，既没有dense的成千上万的candidates，也没有dense的global feature interaction。Sparse R-CNN可以看作是目标检测框架从dense到dense-to-sparse到sparse的一个方向拓展。
03
Architecture Design
Sparse R-CNN的网络设计原型是R-CNN家族。
Backbone是基于ResNet的FPN。
Head是一组iterative的Dynamic Instance Interactive Head，上一个head的output features和output boxes作为下一个head的proposal features和proposal boxes。Proposal features在与RoI features交互之前做self-attention。
训练的损失函数是基于optimal bipartite matching的set prediction loss。
04
Performance
05
Conclusion
备注：目标检测
目标检测交流群
2D、3D目标检测等最新资讯，若已为CV君其他账号好友请直接私信。
微信号:aicvml
QQ群:805388940
微博知乎:@我爱计算机视觉
投稿:amos@52cv.net
网站:www.52cv.net
点点【在看】分享技术成果
本文分享自微信公众号 - 我爱计算机视觉（aicvml）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
