[发明专利]使用运动相关数据改进视觉特征检测的系统和方法

说明书

本文中描述的是使用与图像数据相结合的运动相关数据，通过使用运动相关数据预测特征的位置来改进检测视觉特征的速度和精度的系统和方法。在实施方式中，给定前一图像帧中的一组特征并给定下一图像帧，尝试定位下一图像帧中的相同的一组特征。在实施方式中，使用运动相关数据来计算两个图像帧之间的相对位姿变换，以及然后可变换特征的图像位置以获得它们在下一帧中的位置预测。这样的过程大大减少了下一图像帧中特征的搜索空间，从而加速和改进了特征检测。

相关申请的交叉引用

本申请根据35USC§119(e)要求于2017年9月28日提交的、题为“使用运动相关数据改进视觉特征检测的系统和方法”的第62/564,864号(案卷号：28888-2158P)美国临时专利申请的优先权权益，其将Yingze Bao和Mingyu Chen列为发明人。上述专利文献通过引用以其整体并入本文。

技术领域

本公开总体涉及用于改进图像处理的系统和方法，该系统和方法对机器人或自主装置非常有用，有助于此类装置的定位和地图创建。

背景技术

机器人系统和自主系统的兴起已导致需要这种系统能够在现实世界中找到它们的位置。当系统不知道它的位置，对它操作的区域没有进行地图创建，或者两者都没有时，该问题相当复杂。为了解决这个问题，开发了被称作为同步定位和地图创建(SLAM)的过程集。SLAM努力将移动系统放置在未知环境中的未知位置中，逐渐地创建其环境的地图，并同时确定其在地图内的位置。

对这种系统的地图创建和定位功能非常重要的一个方面是检测通过该系统捕获的图像中的特征。例如，在视觉SLAM中使用了视觉图像特征来关联连续的图像帧。给定前一帧中的一组特征，好的视觉特征检测方法试图识别下一帧中相同的视觉特征。由于其性质，视觉特征检测必须使用图像来进行。为了加速该过程，先前的尝试主要集中在基于图像的改进上。例如，他们可集中在光流或增强的特征检测，诸如尺度不变特征变换(SIFT)、加速鲁棒特征(SURF)、来自加速段测试的特征(FAST)或高斯差分(DoG)。然而，虽然这些方法有助于识别特征点，但是仍然存在速度、效率和精度的问题。

因此，需要的是有助于改进图像特征跟踪的系统和方法。

发明内容

根据本申请的一方面，提供了非暂时性计算机可读介质或媒介，包括一个或多个指令序列，所述一个或多个指令序列在由一个或多个处理器执行时，致使使用移动系统的运动相关数据进行视觉特征检测的步骤，所述步骤包括：

从在捕获前一图像帧之时或之后到捕获当前图像帧之前或之时的时间周期中，接收所述移动系统的运动相关数据；

使用所述运动相关数据中的至少一些来确定用于在所述时间周期的至少一部分期间所述移动系统的运动的旋转；

对于来自所述前一图像帧中的一组先前特征的每个先前特征：

给定来自所述前一图像帧中的一组先前特征的所述前一图像帧中的先前特征、以及所述旋转，确定在所述当前图像帧中所述先前特征的预测位置和角度；

至少使用所述先前特征的预测位置，检测所述当前图像帧中一个或多个类似特征；

对所述当前图像帧中的所检测到的类似特征中的至少一些执行子像素细化；

在子像素细化之后，丢弃其角分数低于角分数阈值的每个检测到的类似特征，以获得所述当前图像帧中的一组剩余特征；以及

使用所述先前特征中的至少一些和所述剩余特征中的至少一些来更新所述移动系统的位置和方位。

根据本申请的另一方面，提供了用于使用移动系统的运动相关数据进行视觉特征检测的处理器实施的方法，所述方法包括：

从在捕获前一图像帧之时或之后到捕获当前图像帧之前或之时的时间周期中，接收所述移动系统的运动相关数据；