[发明专利]基于深度相机的场景地图生成方法、装置及设备

权利要求书

1.一种基于深度相机的场景地图生成方法，其特征在于，所述基于深度相机的场景地图生成方法包括：

读取相机的视频流图像帧，获取所述视频流图像帧的关键帧；

确定所述关键帧相对于初始关键帧的位姿变换矩阵；

对所述关键帧进行回环检测，根据所述回环检测结果，调整相应的关键帧的位姿，根据调整后的关键帧的位姿构建三维点云地图。

2.根据权利要求1所述的基于深度相机的场景地图生成方法，其特征在于，所述获取所述视频流图像帧的关键帧的步骤包括：

检测当前帧距离上一视频关键帧的间隔大于预定间隔；

以及，检测当前图像帧中特征点个数大于预定值；

以及，检测当前图像帧中特征点与上一关键帧中的特征点重复率小于预定值；

当同时满足时，确定当前帧为视频流图像的关键帧。

3.根据权利要求1所述的基于深度相机的场景地图生成方法，其特征在于，所述确定所述关键帧相对于初始关键帧的位姿变换矩阵的步骤包括：

以第一个插入的关键帧朝向作为世界坐标系，计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵；

根据相邻的两个关键帧的位姿变换矩阵，计算关键帧相对于初始帧的位姿变换矩阵。

4.根据权利要求3所述的基于深度相机的场景地图生成方法，其特征在于，所述以第一个插入的关键帧朝向作为世界坐标系，计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵的步骤包括：

通过非线性优化方法，使用目标函数计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵，其中，n为当前关键帧匹配上一关键帧的特征点数量，exp(ξ^)为位姿变换矩阵，p_i为匹配的特征点在此关键帧时相机坐标系下的三维坐标，p′_i为特征点在上关键帧时相机坐标系下的三维坐标，|| ||₂表示L2范数。

5.根据权利要求1所述基于深度相机的场景地图生成方法，其特征在于，所述根据所述回环检测结果，调整相应的关键帧的位姿的步骤包括：

将当前关键帧的词袋向量与之前关键帧的词袋向量进行比较；

如果检测到当前关键帧的词袋向量与之前的关键帧的词袋向量的相似度超过预定值时，计算相似度超过预定值的两个关键帧的位姿变换矩阵，根据计算的位姿变换矩阵调整当前关键帧，或者调整当前关键帧和与当前关键帧的共同特征点超过预定数量的关键帧。

6.一种基于深度相机的场景地图生成装置，其特征在于，所述基于深度相机的场景地图生成装置包括：

关键帧获取单元，用于读取相机的视频流图像帧，获取所述视频流图像帧的关键帧；

位姿变换矩阵确定单元，用于确定所述关键帧相对于初始关键帧的位姿变换矩阵；

三维点云构建单元，用于对所述关键帧进行回环检测，根据所述回环检测结果，调整相应的关键帧的位姿，根据调整后的关键帧的位姿构建三维点云地图。

7.根据权利要求1所述的基于深度相机的场景地图生成装置，其特征在于，所述关键帧获取单元包括：

第一检测子单元，用于检测当前帧距离上一视频关键帧的间隔大于预定间隔；

以及，第二检测子单元，用于检测当前图像帧中特征点个数大于预定值；

以及，第三检测子单元，用于检测当前图像帧中特征点与上一关键帧中的特征点重复率小于预定值；

关键帧确定子单元，用于当同时满足时，确定当前帧为视频流图像的关键帧。

8.根据权利要求6所述的基于深度相机的场景地图生成装置，其特征在于，所述位姿变换矩阵确定单元包括：

第一位姿变换矩阵确定子单元，用于以第一个插入的关键帧朝向作为世界坐标系，计算在后插入的关键帧相对于上一关键帧的位姿变换矩阵；

第二位姿变换矩阵确定子单元，用于根据相邻的两个关键帧的位姿变换矩阵，计算关键帧相对于初始帧的位姿变换矩阵。