[发明专利]特征点定位方法、装置、重建方法、系统、设备及介质

说明书

本发明公开了一种特征点定位方法、装置、重建方法、系统、设备及存储介质，该方法包括：确定历史帧中特征点的位置与当前回环帧中特征点的估计位置之间的当前纠正项，其中，当前回环帧包括预设数量的连续子帧；若当前纠正项稳定，且当前纠正项与上一有效纠正项的差值大于预设阈值，则基于当前纠正项得到当前回环帧中特征点的纠正位置。上述技术方案对当前纠正项进行限制，基于稳定且与上一有效纠正项差值较大的当前纠正项对特征点的位置进行纠正，即保留大幅度、忽略小幅度的位置纠正，并且以连续子帧作为一个当前回环帧进行定位，无需对每一单帧图像都进行定位，从而降低位置纠正的频率，减少特征点位置的抖动，提高对特征点定位的稳定性。

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种特征点定位方法、装置、重建方法、系统、设备及介质。

背景技术

在增强现实(Augmented Reality，AR)、即时定位与地图构建(SimultaneousLocalization and Mapping，SLAM)或三维重建技术中，通过图像传感器从不同位置或不同视角对场景进行拍摄，以对场景进行三维重建。由于图像传感器采集图像以及对图像中的特征点进行识别和处理的过程都存在误差，前后不同帧的图像之间随着时间的推移也不可避免地存在累积误差。为消除这种累积误差、保证特征点在当前帧中的位置与历史帧的全局一致性，需要利用回环检测机制。回环检测是指在三维重建的过程中，检测到当前帧与历史帧拍摄的为相同场景，当前帧中的特征点也出现在历史帧中，则历史帧与当前帧构成回环约束。特征点在当前帧中的估计位置为系统在三维重建过程中得到的最新位置，如果该估计位置与历史帧中的位置有差别，则可以根据一定的回环约束条件对特征点的位置进行纠正，以保证当前的特征点位置与历史帧中的位置具有全局一致性，其中，当前帧也称为当前回环帧。例如，在三维重建过程的历史帧中，水杯位于桌面上，水杯的一个特征点在历史帧中的空间位置为(0,0,0)，随着时间的推移，在当前帧中该特征点的估计位置为(0,0,1)，与之前的位置不一致，可能导致水杯对于桌面产生一定的偏移，这种情况下，需要根据一定的回环约束条件对该特征点的位置进行纠正。

然而，在回环检测的过程中，对特征点的识别和匹配，以及纠正位置的回环约束条件本身就是存在误差的，无法达到绝对的全局一致性。如果每一次特征点的估计位置与历史帧中位置相比发生变化时，都对回环帧中的特征点的估计位置进行纠正，计算量大、定位频率高，会引起过多不必要的抖动，影响用户对重建图像的观看效果，导致特征点定位的稳定性差。

发明内容

本发明提供了一种回环帧中特征点的定位方法、装置、设备及存储介质，以减少特征点位置的抖动，提高对特征点定位的稳定性。

第一方面，本发明实施例提供了一种特征点定位方法，包括：

根据历史帧中特征点的位置与当前回环帧中特征点的估计位置确定当前纠正项，其中，所述当前回环帧包括预设数量的连续子帧；

若所述当前纠正项稳定，且所述当前纠正项与上一有效纠正项的差值大于预设阈值，则基于所述当前纠正项得到所述当前回环帧中特征点的纠正位置。

第二方面，本发明实施例提供了一种三维重建方法，包括：

获取原始图像三维重建过程中的历史帧和当前回环帧，所述历史帧和当前回环帧中的场景相同；

基于如第一方面所述的特征点定位方法确定当前回环帧中特征点的位置，得到重建后的图像。

第三方面，本发明实施例提供了一种特征点定位装置，包括：

纠正项计算模块，用于根据历史帧中特征点的位置与当前回环帧中特征点的估计位置确定当前纠正项，其中，所述当前回环帧包括预设数量的连续子帧；

纠正项滤波模块，用于若所述当前纠正项稳定，且所述当前纠正项与上一有效纠正项的差值大于预设阈值，则基于所述当前纠正项得到所述当前回环帧中特征点的纠正位置。