目标检测框回归问题

原创
2020/12/05 23:30
阅读数 2K


本文转自知乎,作者mileistone,已获作者授权转载,请勿二次转载。

https://zhuanlan.zhihu.com/p/330613654

目标检测模型训练的时候有两个任务,框分类(框里是什么)和框回归(框在哪),本文主要讲第二点。

框回归可以分为两大类,基于x,y,w,h的回归(比如Faster R-CNN、YOLO、RetinaNet里框回归的loss),基于IoU的回归(比如IoU loss、GIoU loss、DIoU loss、CIoU loss)。

基于x,y,w,h的回归

基于x,y,w,h的回归,可以细分为x、y(GT框的中心)的回归和w、h的回归。

w、h的回归

Faster R-CNN、YOLO、RetinaNet的w、h回归方式大体相同。假设 、  为拟合目标,  、  为网络预测值,  为GT框的宽,  为样本对应anchor框的宽,  为GT框的宽,  为GT框对应的anchor框的高,  为  、  、  等。




其中通过anchor的归一化和取log,可以一定程度增加  和  对框scale的invariance。

x、y的回归

x、y的回归方式可以分为两类,一类以YOLO为代表,一类以Faster R-CNN和RetinaNet为代表。后者x、y的回归方式与它们对w、h的回归方式相同,不再赘述。

YOLO中x、y的回归方式比较奇特。假设  、  为拟合目标,  、  为网络预测值,  为对应head输出feature map的宽,  为对应head输出feature map的高。

 为GT框中心的x坐标,  为GT框中心的y坐标,  为GT框匹配上的grid cell的x坐标,  为GT框匹配上的grid cell的y坐标,x坐标的范围缩放到化到  ,y坐标的范围缩放到到  。




对scale进行reweight

关于x、y、w、h的回归,YOLO还会对不同scale的框回归loss进行reweight,减小大scale的框回归loss,增大小scale的框回归loss,Fatser R-CNN和RetinaNet没这么做。总体而言,YOLO里很多操作都是比较特立独行的,不过在论文里讲得很少,只有看作者的C代码实现才能发现。

基于IoU的回归

IoU loss有两个所谓的优点,一个是“Given the choice between optimizing a metric itself vs. a surrogate loss function, the optimal choice is the metric itself”,另一个是IoU loss对框的scale具有invariance特性,大家觉得这个对于框回归而言非常必要。

IoU loss关注预测框与GT框的IoU,而其他基于IoU loss的变体,关注的点除了IoU 之外还有:

1、预测框与GT框并集占据预测框与GT框最小包络框的比例(越大越好);

2、归一化(以预测框和GT框最小包络框的对角线为分母)的预测框中心与GT框中心距离(越小越好);

3、预测框长宽比与GT框长宽比的相似程度(越大越好)。

GIoU loss关注了1,DIoU loss关注了2,CIoU loss关注了2和3。

GIoU loss缓解了IoU loss在预测框和GT框之间IoU为0,梯度为0的问题。实验中GIoU收敛比较慢,DIoU缓解了GIoU这个问题;CIoU基于DIoU,添加了一个关于长宽比的惩罚项。

一些想法

1、the optimal choice is the metric itself?

将IoU作为loss是不是真的如论文中所说“Given the choice between optimizing a metric itself vs. a surrogate loss function, the optimal choice is the metric itself”。

这句话很对,但是IoU只是整体metric(比如mAP)中的一部分,这一个部分达成了“optimizing a metric itself”,问题是局部最优不一定能达到全局最优,这个问题导致IoU loss提出来之后,后续大家打了一个接一个的补丁(比如GIoU、DIoU、CIoU),甚至PP-YOLO发现把基于x、y、w、h的回归和基于IoU的回归结合起来效果更好。

事情并不如IoU提出来的时候想的那么美好。

相信后面还会有更多的补丁。一个问题在于无论是IoU也好,还是后面提出来的其他惩罚项也好,既缓解了一部分问题,也带来了新的问题;另一个问题是,整体地“optimizing a metric itself”这个命题听起来很美好,但是基本不可实现:想象很美好,现实很骨感。

后面我们大概率会从不同角度提出更多的惩罚项,这里会带来一个问题,当惩罚项越来越多的时候,如何平衡各个惩罚项loss,进而如何平衡框回归与框分类loss,里面会涉及到很多超参。

2、对框scale的invariance特性

框回归问题中,对框scale具有invariance是否一定是优点呢?我想不尽然,因为不同scale的框之间可能存在不平衡,在这种条件下,对框scale具有invariance可能不一定是最好的,我们可能需要做一些reweight。

3、anchor free

这里我们没提到anchor free的目标检测框回归计算方式,但是思路是类似的,基于上述的思路,可以很自然地想到anchor free目标检测器里框回归会如何设计。

备注:目标检测

目标检测交流群

2D、3D目标检测等最新资讯,若已为CV君其他账号好友请直接私信。


我爱计算机视觉

微信号:aicvml

QQ群:805388940

微博知乎:@我爱计算机视觉

投稿:amos@52cv.net

网站:www.52cv.net

在看,让更多人看到  

本文分享自微信公众号 - 我爱计算机视觉(aicvml)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部