如何轻松上手3D检测应用实战?飞桨产业实践范例全流程详解

原创
05/31 05:41
阅读数 4

本文已在飞桨公众号发布,链接戳:

图片

随着深度学习技术的快速发展,3D检测技术作为关键发展方向之一,在机器人视觉、城市视觉、增强现实等领域发挥重要作用。传统依靠激光雷达的3D检测方法存在传感器昂贵,难以大规模广泛部署、点云缺失纹理信息、分辨率低等问题。建立单目3D检测模型,有效地利用了图像相对于点云的各个优势,以更低的成本部署到实际应用场景。

为了让大家能够更快速的应用前沿的技术,百度视觉技术部基于飞桨提供了一套完整的3D视觉检测产业实践范例,提供了从数据准备、模型训练及优化的全流程可复用方案,降低产业落地门槛。

图片

⭐ 项目链接 ⭐

点击一键GET

https://aistudio.baidu.com/aistudio/projectdetail/4038086

所有源码及教程均已开源,欢迎大家使用

场景难点

  • 深度信息缺失,由2D图像预测3D位置困难;

  • 相机传感器敏感,受环境影响(夜晚、雨天)等较大;

  • 图像层面,遮挡、截断等问题严重影响感知精度。

模型选择

单目3D检测提供两种方案选择:基于anchor的方案和anchor-free的方案。

  • anchor方案:从图像中估计出3D检测框,也无需预测中间的3D场景表示,可以直接利用一个区域提案网络,生成给定图像的3D锚点。不同于以往与类别无关的2D锚点,3D锚点的形状通常与其语义标签有很强的相关性。

  • anchor-free方案:将2D检测方法CenterNet扩展到基于图像的3D检测器,该框架将对象编码为单个点(对象的中心点)并使用关键点估计来找到它。此外,几个平行的头被用来估计物体的其他属性,包括深度、尺寸、位置和方向。

我们采用基于anchor的方法,使用了3D障碍物的平均信息作为先验知识,效果实际落地更好。在骨干网络部分,我们选择的是DenseNet,这种网络建立的是前面所有层与后面层的密集连接,实现特征重用,有着省参数、扛过拟合等优点。我们提供了以下版本的方案尝试:

图片

根据单目3D检测实时性的要求,这里我们选择了DenseNet121作为我们的骨干网络。

算法优化

本范例提供了在模型迭代过程中优化精度的思路:

  • 数据过滤:根据bbox可见程度、大小来过滤每个bbox标签,根据有无保留bbox过滤每张图片,整体平衡前后背景,保证训练的稳定性。

  • 数据增强:主要使用RandomFlip、Resize两种数据增强策略。

  • anchor定义:模型输出

图片

  • 后处理优化:根据将3D相关信息组成3D框,投影到图像上得到投影的八点框,取八点最小外接包围框与2D预测结果算IOU,通过不断的调整旋转角ry或深度z,来使得IOU最小。此算法利用了2D检测的结果要比3D检测的结果准确的先验知识,用2D框来纠正预测的3D属性,来达到优化3D定位精度的目的。整体框架如下图所示:

图片

经过调整后,在car类前后效果对比如下:

图片

模型部署

使用飞桨原生推理库Paddle Inference,用于服务端模型部署,总体上分为三步:

  • 创建PaddlePredictor,设置所导出的模型路径;

  • 创建输入用的 PaddleTensor,传入到 PaddlePredictor中;

  • 获取输出的 PaddleTensor,将结果取出。

图片

如果想了解更详细方案细节,欢迎关注我们的直播课程,手把手全流程教学等着你哦。

飞桨产业实践范例 助力企业跨越AI落地鸿沟

飞桨产业实践范例,致力于加速AI在产业落地的前进路径,减少理论技术与产业应用的差距。范例来源于产业真实业务场景,通过完整的代码实现,提供从数据准备到模型部署的方案过程解析,堪称产业落地的“自动导航”。

  • 真实产业场景:与实际具有AI应用的企业合作共建,选取企业高频需求的AI应用场景如智慧城市-安全帽检测、智能制造-表计读数等;

  • 完整代码实现:提供可一键运行的代码,在“AI Studio一站式开发平台”上使用免费算力一键Notebook运行;

  • 详细过程解析:深度解析从数据准备和处理、模型选择、模型优化和部署的AI落地全流程,共享可复用的模型调参和优化经验;

  • 直达项目落地:百度高工手把手教用户进行全流程代码实践,轻松直达项目POC阶段。

精彩课程预告

为了让小伙伴们更便捷地应用3D检测范例教程,百度高级研发工程师于6月1日(周三)20:00为大家深度解析从数据准备、方案设计到模型优化部署的开发全流程,手把手教大家进行代码实践。

关注【飞桨PaddlePaddle】公众号
获取更多技术内容~

本文同步分享在 博客“飞桨PaddlePaddle”(CSDN)。
如有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

展开阅读全文
加载中

作者的其它热门文章

打赏
0
0 收藏
分享
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部