[发明专利]一种视觉同步定位与建图方法、装置、设备及介质

说明书

本申请公开了一种视觉同步定位与建图方法、装置、设备及介质。该方法包括：通过RGBD相机获取含有灰度图像和深度图像的图像序列，并从所述灰度图像中提取得到图像特征点；基于所述图像序列的第一帧图像，构建3D特征点地图；逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数，基于所述图像特征点根据比对结果对所述3D特征点地图进行更新操作；其中，所述特征参数包括3D坐标和特征描述子。通过获取的每帧图像中的图像特征点对构建的3D特征点地图中特征点进行更新，可以及时的向3D特征点地图中添加新增特征点并删除已过时的特征点，以构建得到实时准确的3D特征点地图，从而保证3D特征点地图与当前实际环境同步，提高了场景定位的准确性。

技术领域

本发明涉及机器视觉领域，特别涉及一种视觉同步定位与建图方法、装置、设备及介质。

背景技术

视觉同步定位与建图(Visual simultaneous localization and mapping，vSLAM)系统通过摄像头对环境中的图像信息进行采集，利用不同时刻图像像素或区域特征的相对变化，推测相机在环境中的运动情况，即计算图像间的相对位姿。同时，通过获得的一系列的图像与相机位姿对，对整个环境进行建模，即获得一个全局一致的地图。然而，现有的vSLAM系统通常假设地图在生成与使用过程中不会明显地变化，这限制了现有vSLAM的应用范围。例如，在商场一类的经常变化的场景中，现有的vSLAM系统无法随环境的变化对地图进行有效的更新，从而降低了vSLAM系统定位的有效性与准确度。

发明内容

有鉴于此，本发明的目的在于提供一种视觉同步定位与建图方法、装置、设备及介质，能够构建得到准确同步的地图。其具体方案如下：

第一方面，本申请公开了一种视觉同步定位与建图方法，包括：

通过RGBD相机获取含有灰度图像和深度图像的图像序列，并从所述灰度图像中提取得到图像特征点；

基于所述图像序列的第一帧图像，构建3D特征点地图；

逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数，基于所述图像特征点根据比对结果对所述3D特征点地图进行更新操作；其中，所述特征参数包括3D坐标和特征描述子。

可选的，所述基于所述图像序列的第一帧图像，构建3D特征点地图，包括：

以图像序列的第一帧图像中的RGBD相机坐标为坐标原点，构建全局地图坐标系；

根据所述第一帧图像对应的灰度图像和深度图像，得到所述第一帧图像中特征点的3D坐标；

基于所述特征点和对应的3D坐标，在所述全局地图坐标系上构建3D特征点地图。

可选的，所述逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数，基于所述图像特征点根据比对结果对所述3D特征点地图进行合并、添加和/或删除操作，包括：

根据所述图像特征点的特征参数、所述3D特征点地图中特征点的特征参数、预设相似度阈值和距离阈值，对所述图像特征点进行合并或添加操作；

根据所述3D特征点地图中特征点的深度值，以及当前深度图像中对应像素点的深度值，从所述3D特征点地图中确定出待删除特征点并删除。

可选的，所述逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数之前，还包括：

基于所述图像序列的第一帧图像中含有的图像特征点，利用词袋模型创建特征词袋字典；

利用EPnP算法计算相邻两帧图像帧之间的相对旋转和相对位移，以得到每帧图像帧相对于所述全局地图坐标系的相机位姿；

根据图像特征点在对应的灰度图像帧和深度图像帧中的坐标，得到所述图像特征点的原始3D坐标；