[发明专利]一种视觉同步定位与建图方法、装置、设备及介质

权利要求书

1.一种视觉同步定位与建图方法，其特征在于，包括：

通过RGBD相机获取含有灰度图像和深度图像的图像序列，并从所述灰度图像中提取得到图像特征点；

基于所述图像序列的第一帧图像，构建3D特征点地图；

逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数，基于所述图像特征点根据比对结果对所述3D特征点地图进行更新操作；其中，所述特征参数包括3D坐标和特征描述子。

2.根据权利要求1所述的视觉同步定位与建图方法，其特征在于，所述基于所述图像序列的第一帧图像，构建3D特征点地图，包括：

以图像序列的第一帧图像中的RGBD相机坐标为坐标原点，构建全局地图坐标系；

根据所述第一帧图像对应的灰度图像和深度图像，得到所述第一帧图像中特征点的3D坐标；

基于所述特征点和对应的3D坐标，在所述全局地图坐标系上构建3D特征点地图。

3.根据权利要求2所述的视觉同步定位与建图方法，其特征在于，所述逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数，基于所述图像特征点根据比对结果对所述3D特征点地图进行合并、添加和/或删除操作，包括：

根据所述图像特征点的特征参数、所述3D特征点地图中特征点的特征参数、预设相似度阈值和距离阈值，对所述图像特征点进行合并或添加操作；

根据所述3D特征点地图中特征点的深度值，以及当前深度图像中对应像素点的深度值，从所述3D特征点地图中确定出待删除特征点并删除。

4.根据权利要求3所述的视觉同步定位与建图方法，其特征在于，所述逐帧比对所述图像特征点与所述3D特征点地图中特征点的特征参数之前，还包括：

基于所述图像序列的第一帧图像中含有的图像特征点，利用词袋模型创建特征词袋字典；

利用EPnP算法计算相邻两帧图像帧之间的相对旋转和相对位移，以得到每帧图像帧相对于所述全局地图坐标系的相机位姿；

根据图像特征点在对应的灰度图像帧和深度图像帧中的坐标，得到所述图像特征点的原始3D坐标；

根据所述图像特征点对应的相机位姿，将所述图像特征点的原始3D坐标转换为所述全局地图坐标系下的3D坐标。

5.根据权利要求4所述的视觉同步定位与建图方法，其特征在于，所述根据所述图像特征点的特征参数、所述3D特征点地图中特征点的特征参数、预设相似度阈值和距离阈值，对所述图像特征点进行合并或添加操作，包括：

将所述图像特征点的特征描述子与特征词袋字典中的特征描述子进行相似度对比，筛选出相似度大于预设相似度阈值的特征点对；

根据所述特征点对分别在所述全局地图坐标系下的3D坐标，计算所述特征点对之间的距离值；

若所述距离值小于或等于预设距离阈值，则将所述特征点对合并；

若所述距离值大于预设距离阈值，则将所述图像特征点直接添加至所述3D特征点地图。

6.根据权利要求4所述的视觉同步定位与建图方法，其特征在于，所述根据所述3D特征点地图中特征点的深度值，以及当前深度图像中对应像素点的深度值，从所述3D特征点地图中确定出待删除特征点并删除，包括：

将所述3D特征点地图中，所有特征点的深度值与当前深度图像中对应像素点的深度值进行比较，并将深度值小于像素点深度值的特征点从所述3D特征点地图中删除；

计算删除后所述3D特征点地图中，所有特征点的深度值与当前深度图像中对应像素点的深度值的差值，并将所述差值大于预设差值阈值的特征点从所述3D特征点地图中删除；

计算剩余特征点与相机光心的连线和特征点朝向向量之间的夹角，并将所述夹角大于预设角度阈值的特征点从所述3D特征点地图中删除。

7.根据权利要求1至6任一项所述的视觉同步定位与建图方法，其特征在于，所述基于所述图像特征点根据比对结果对所述3D特征点地图进行合并、添加和/或删除操作之后，还包括：

利用光束平差法，对所述3D特征点地图中的特征点坐标和对应的相机位姿进行优化处理。