淘天集团-内容理解算法团队与浙江大学杨易教授团队合作的关于视频时序定位的论文被ICCV2023录取。
本文在业界首次将视频帧级别的细粒度信息引入至时序动作定位领域（Temporal Action Localization，TAL），对于时序动作定位任务，在单一标注（single-labeled）、密集标注（dense-labeled）和第一人称视角（egocentric）等类型数据集上，性能普遍超过SOTA。
观察和动机
图2:动作敏感性学习框架图
考虑到每种动作都有其本质的行为模式，但这种模式又在不同的场景或行为主体下有不同的偏移，因此我们提出从类别级别和实例级别对动作敏感性进行建模。同时，对于动作定位子任务，由于边界的不确定性和边界附近帧的不同语义信息，最敏感的帧也不一定在边界处，因此我们分别对动作分类和动作定位两个子任务都进行动作敏感性学习。整体的框架图如图2所示。
在类别级别的建模中，由于视频本身信息具有连续性，且存在一些关键帧，因此我们提出为每种动作使用一个可学习的高斯分布来建模其类别级别的动作敏感性。具体而言，针对分类子任务的类别级别动作敏感性pcls建模为：
针对定位子任务的类别级别动作敏感性ploc建模为：
其中μc,σc为可学习的参数。
然后基于MSE损失，学习实例建模网络：
具体而言，我们对每一帧都通过Focal损失进行分类的学习，对每一个在动作内部的帧都基于DIoU损失进行回归的学习，在此基础上每一帧的损失函数前再乘以学习到的动作敏感度：
因而最终的损失函数表示为：
我们在3大类共6个数据集上验证了我们的方法，包括：密集标注的MultiThumos和Charades，见表1，我们提出的方法在average mAP指标上大幅超越以往方法。
表1: 在MultiThumos和Charades上的结果
密集标注且第一人称视角的Ego4D-Moment Query，见表2，在使用相同特征且公平对比下，我们的方法同样在验证集和测试集上都优于过去方法。
表2：在Ego4D Moment Queries上的结果
单一标注的Thumos14和ActivityNet，见表3，由于在单一标注数据集上动作实例较少，我们提出方法中的对比学习部分收益较少，但整体仍然优于之前的SOTA方法。
表3：在Thumos和ActivityNet上的结果
表4展示了部分消融实验结果，ASL结构中类别级别建模、实例级别建模都挖掘了帧之间不同的重要性，进而提升了average mAP指标。而融合了动作敏感性对比学习损失后，进一步增强了特征，获得了最佳性能。
表4：在MultiThumos上的消融实验
图3展示了ASL的可视化结果，表明了我们提出的方法能够找到动作内部一些重要的帧（如描绘“把衣服晾到衣架上”，“水流流经手”的这些帧对于分类子任务具有了较高的重要度），而一些转场、模糊的帧则被赋予了较低的重要度。
总结
本文从挖掘动作内部不同帧的不同重要性入手，提出了动作敏感性学习（ASL）。通过从类别级别和实例级别建模的方式，学习到每一帧的敏感度，并融入进损失函数中，以促进模型更好的训练。同时还提出敏感度对比学习损失，进一步加强特征。本文提出的方法刷新了多个数据集时序动作定位任务的SOTA指标。相关算法将会有助于进一步提高淘宝短视频内容理解的精准性。
Zhang C L, Wu J, Li Y. Actionformer: Localizing moments of actions with transformers[C]//European Conference on Computer Vision. Cham: Springer Nature Switzerland, 2022: 492-510.
Yeung S, Russakovsky O, Jin N, et al. Every moment counts: Dense detailed labeling of actions in complex videos[J]. International Journal of Computer Vision, 2018, 126: 375-389.
Caba Heilbron F, Escorcia V, Ghanem B, et al. Activitynet: A large-scale video benchmark for human activity understanding[C]//Proceedings of the ieee conference on computer vision and pattern recognition. 2015: 961-970.
Grauman K, Westbury A, Byrne E, et al. Ego4d: Around the world in 3,000 hours of egocentric video[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022: 18995-19012.
Sigurdsson G A, Gupta A, Schmid C, et al. Charades-ego: A large-scale dataset of paired third and first person videos[J]. arXiv preprint arXiv:1804.09626, 2018.
Damen D, Doughty H, Farinella G M, et al. Scaling egocentric vision: The epic-kitchens dataset[C]//Proceedings of the European conference on computer vision (ECCV). 2018: 720-736.
Yu-Gang Jiang, Jingen Liu, A Roshan Zamir, George Toderici, Ivan Laptev, Mubarak Shah, Rahul Sukthankar. Thumos challenge: Action recognition with a large number of classes. 2014
淘天集团-算法技术-内容理解团队，依托淘天亿级的视频数据，构建完善的内容理解体系，支撑淘宝信息流、逛逛、淘宝直播、点淘等淘系核心业务。团队成员曾多次获得CVPR、ICCV等顶会竞赛冠军，积累的多项多模态理解能力，发布在如NIPS、CVPR、ICCV、ECCV、TPAMI、TIP、MM等顶级和期刊上。
淘天集团-算法技术-内容理解团队，依托淘天亿级的视频数据，构建完善的内容理解体系，支撑淘宝信息流、逛逛、淘宝直播、点淘等淘系核心业务。团队成员曾多次获得CVPR、ICCV等顶会竞赛冠军，积累的多项多模态理解能力，发布在如NIPS、CVPR、ICCV、ECCV、TPAMI、TIP、MM等顶级和期刊上。
本文分享自微信公众号 - 大淘宝技术（AlibabaMTT）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
