(五)ORBSLAM关键帧的筛选和插入

2019/04/28 23:00
阅读数 97

ORBSLAM2的关键帧简介

  图像插入频率过高会导致信息冗余度快速增加,而这些冗余的信息对系统的精度却十分有限,甚至没有提高,反而消耗了更多的计算资源。这等于吃力不讨好。

  关键帧的目的在于,适当地降低信息冗余度,减少计算机资源的损耗,保证系统的平稳运行。

  ORBSLAM2也是沿袭PTAM的方案,将定位和建图分成两个线程,不过ORBSLAM2还增加了回环这个线程,在关键帧的问题上做了更灵活的处理,使得系统的跟踪更流畅和稳定。

  接下来我们将按照ORBSLAM2源码中的方案将内容分成两个部分进行介绍:

  1. 关键帧的筛选;

  2. 关键帧的插入。


关键帧的筛选:

  由于关键帧的筛选主要涉及一些判断条件,没有公式没有插图,读起来想必是十分枯燥的。因此笔者主要提炼大纲,让大家能够比较直观的看出,ORBSLAM2中所用的策略是什么,并根据笔者的拙见对原因进行分析,不当之处,敬请指正。

  首先是直接不插入关键帧的条件,主要有三个:

  1. 若当前处于定位模式,不插入关键帧;

    原因:定位模式是只定位不建图,只利用已有的地图点对当前相机姿态进行估计,而不更新地图点,因此没有插入关键帧的必要。

  2. 若局部地图处于全局闭环情况下,不插入关键帧;

    原因:局部地图被占用,插入关键帧会影响全局闭环的优化。

  3. 若距离上一次重定位较近,不插入关键帧;

    原因:重定位时,当前帧通过与局部关键帧匹配并进行运动估计,能够很好地恢复其运动姿态。笔者认为,因为重定位时当前帧与重定位候选帧的信息冗余度较低,所以在重定位成功后,当前帧会作为关键帧插入地图中。而新来的一帧,由于重定位时刚刚插入关键帧,所以不需要频繁插入。

  排除了上面三种情况,接下来就需要对关键帧进一步检测,才能确定是否真的需要插入关键帧。进一步检查包含一个必不可少的条件和另外三选一的条件。

  必须满足的条件:

  1. 内点数必须超过设定的最小阈值,并且重叠度不能太大;

    原因:保证关键帧跟踪的质量,同时,避免引入过多的信息冗余。

  三选一的条件:

  2.1 距离上次插入关键帧已经过去MAX帧,MAX是ORBSLAM2预设的最大值;

    原因:防止过去太多帧,跟踪丢失。

  2.2 距离上次插入关键帧至少过去MIN帧,且局部建图线程处于空闲状态,MIN是ORBSLAM2预设的最小值;

    原因:防止图像重叠度太高,并且局部建图线程有空闲处理新的关键帧。

  2.3 局部建图线程中关键帧队列的关键帧数量不超过3个;

    原因:主要也是考虑局部建图线程的处理能力,以及信息的冗余度问题吧。

  插入关键帧的条件即是必须满足条件1以及满足2.1-2.3中任意一个条件。


 关键帧的插入

   确定了当前帧是关键帧,那么就需要将其输入局部建图模块以及回环检测模块。但是在输入这两个模块之前,需要将关键帧的观测信息进行更新。为了更加直观的表达关键帧插入的方法,笔者还是以列提纲的方式,为大家介绍这个过程:

  1. 中断局部建图线程,即中断处理地图点、关键帧以及优化相机位姿;

    原因:这是必须插入关键帧的情况,强制终止局部建图。

  2. 更新当前关键帧的位姿,即从 $T$ 矩阵中取出旋转矩阵 $R$ 和位移矩阵 $t$ 以及相机中心 $O$;

    原因:主要用于局部建图模块和回环检测模块中做重投影。

  3. 将当前帧所对应的地图点按深度信息进行排序;

    原因:筛除超出深度阈值的地图点。

  4. 对当前关键帧中未关联的三维点,创建新的地图点,具体包括观测信息,更新地图点的描述子以及法向量和深度;

    原因:非常平凡的创建地图点的过程。

  5. 将所创建的地图点插入地图中,最后将更新后的关键帧也插入地图中。

    原因:插入关键帧的过程最后一个步骤。

  插入关键帧的流程大体如上面五个步骤所述。大家在设计关键帧插入流程时可以参考这几种方案,当然也可以根据实际需要设计更符合要求的方案。


 总结:

  终于又到了写总结的时候了,写一篇博客着实不易啊。

  本文主要介绍了ORBSLAM2对待关键帧的策略,包括关键帧的筛选和插入。

  不同的SLAM系统所采用的的关键帧策略有所不同,但是目的都是类似的:一是考虑计算资源的损耗,二是考虑信息的冗余度,最重要的是系统精度提高的可能性。在精度满足要求的前提下,寻求信息冗余度和计算资源损耗的折中。

  至此,ORBSLAM2的跟踪线程我们已经全部介绍完了,接下来我们将进入局部建图线程。

  下一讲,笔者将为大家介绍ORBSLAM地图的更新策略。

PS:

  如果您觉得我的博客对您有所帮助,欢迎关注我的博客。此外,欢迎转载我的文章,但请注明出处链接。

  对本文有任何问题可以在留言区进行评论,也可以在泡泡机器人论坛:http://paopaorobot.org/bbs/index.php?c=cate&fid=1中的SLAM技术交流模块发帖提问。

  我的github链接是:https://github.com/yepeichu123/orbslam2_learn

 

展开阅读全文
打赏
0
0 收藏
分享
加载中
更多评论
打赏
0 评论
0 收藏
0
分享
返回顶部
顶部