[发明专利]一种三维语义地图构建方法

权利要求书

1.一种三维语义地图构建方法，其特征在于，包括：

可基于GPU并行处理的配准图像线程、局部地图与全局地图线程、语义地图线程、融合线程、全局线程；

所述配准图像线程用于获取场景的彩色图像及深度图像，并对所述彩色图像及深度图像进行预处理，得到配准图像；

所述局部地图与全局地图线程用于根据所述配准图像及深度图像求解图像之间的位姿，利用所述位姿、彩色图像、深度图像进行三维重建得到局部地图与全局地图；所述语义地图线程用于利用PSP Net对多个配准图像进行语义分割，得到二维语义图像；

所述融合线程用于将所述二维语义图像分别与所述局部地图、全局地图融合，得到局部语义地图、全局语义地图；

所述全局线程用于对所述局部语义地图、全局语义地图进行匹配，得到全局一致性稠密语义地图。

2.根据权利要求1所述的一种三维语义地图构建方法，其特征在于，所述配准图像线程具体包括：

对包括红外摄像头及彩色摄像头的深度相机进行标定，获取深度相机的内参以及外参；

分别利用深度相机中的红外摄像头、彩色摄像头连续获取多帧场景的深度图像与彩色图像；

根据所述外参与内参对深度图像与彩色图像进行配准，得到多帧配准图像。

3.根据权利要求2述的一种三维语义地图构建方法，其特征在于，所述局部地图与全局地图线程包括：

对多帧配准图像进行块划分，得到多个图像块，其中相邻图像块之间存在帧堆叠；

使用基于GPU加速的SIFT提取算法对每个图像块内的配准图像进行特征提取得到特征点，并选取一帧配准图像的坐标系作为世界坐标系；

根据GMS匹配算法对所述特征点进行匹配并滤除误匹配点，将块内关联性较好的保存为局部图像关联匹配M₁，将块内关联性较差的保存为全局图像关联匹配M₂；

根据所述M₁与M₂利用高斯牛顿法求解各帧配准图像之间的位姿，并对当前位姿进行回环检测；

根据所述位姿及配准图像线程中得到的深度图像与彩色图像，对场景进行三维稠密重建，得到局部地图与全局地图。

4.根据权利要求3所述的一种三维语义地图构建方法，其特征在于，所述SIFT提取算法中特征点的幅值具体表示为：

方向具体表示为：

其中，A(x,y)为特征点的幅值大小，x与y为特征点在图像中的像素位置，I(x+1,y)、I(x-1,y)、I(x,y+1)、I(x,y-1)均为特征点在高斯差分金字塔中的相邻像素，θ(x,y)为特征点的指向方向。

5.根据权利要求3所述的一种三维语义地图构建方法，其特征在于，所述GMS匹配算法中的概率模型为：

特征点对的评估分数公式为：

其中，P为正确匹配与错误匹配的差异性，p_true为正确匹配，p_false为错误匹配，mean_true与mean_false分别为匹配正确与匹配错误的平均值，std_true与std_false分别为匹配正确与匹配错误的方差；|F_1i|为特征点匹配网格内的特征数量；i与j分别为两帧图像中匹配点区域，k为当前网格数，K为网格总数，为单元对{i^k，j^k}之间的匹配数量。

6.根据权利要求2所述的一种三维语义地图构建方法，其特征在于，根据所述外参与内参对深度图像与彩色图像进行配准具体包括：

将深度图像中所有像素点的坐标向红外摄像头坐标系转换；

将红外摄像头坐标系下的点转换到世界坐标系下；

将世界坐标系下的点转换到彩色摄像头坐标系下；

将彩色摄像头坐标系下的点映射到归一化平面的彩色平面；

得到红外摄像头与彩色摄像头之间的变换矩阵。