[发明专利]具有人物语义信息的三维地图的构建方法以及处理设备

权利要求书

1.一种具有人物语义信息的三维地图的构建方法，其特征在于，所述方法包括：

处理设备获取相机在待重建场景的不同位姿下拍摄所述待重建场景得到的图像序列；

所述处理设备在所述图像序列的基础上，通过人物重建线程计算得到所述待重建场景的人物的三维结构信息以及所述人物的人物位姿信息；

所述处理设备在所述图像序列的基础上，通过几何重建线程计算得到述待重建场景的三维环境信息；

所述处理设备将所述三维结构信息以及所述人物位姿信息导入所述三维环境信息中，得到所述待重建场景对应的三维地图；

所述处理设备在所述图像序列的基础上，通过所述人物重建线程计算得到所述三维结构信息包括：

所述处理设备将所述图像序列导入所述人物重建线程；

所述处理设备在所述人物重建线程中，提取所述图像序列的关键帧图像；

所述处理设备通过Mask R-CNN分割模型分割所述关键帧图像，得到所述人物的人物语义标签；

所述处理设备在所述人物语义标签的轮廓信息的基础上，生成所述三维结构信息；

所述处理设备在所述图像序列的基础上，通过所述人物重建线程计算得到所述人物位姿信息包括：

所述处理设备将所述几何重建线程在计算中得到的图像稀疏点云信息导入所述人物重建线程；

所述处理设备在所述人物重建线程中，根据所述图像稀疏点云信息以及所述人物语义标签的位置信息，计算得到所述人物位姿信息，所述人物的人物位姿信息包括所述人物的中心点三维坐标。

2.根据权利要求1所述的方法，其特征在于，所述处理设备将所述三维结构信息以及所述人物位姿信息导入所述三维环境信息中，得到所述待重建场景对应的三维地图包括：

所述处理设备将所述三维结构信息以及所述人物位姿信息进行融合，得到所述人物的三维信息；

所述处理设备将所述三维信息导入所述三维环境信息中，并根据时间戳进行信息同步以及将所述三维信息的点云覆盖所述三维环境信息中相同位置的点云，得到所述三维地图。

3.根据权利要求2所述的方法，其特征在于，所述处理设备在所述图像序列的基础上，通过几何重建线程计算得到所述待重建场景的三维环境信息包括：

所述处理设备将所述图像序列导入所述几何重建线程中；

所述处理设备将通过尺度不变特征变换SIFT算法提取所述图像序列的特征点，并通过Loop约束去除所述特征点中的错误外极几何点以及用K-means层级树表示所述特征点；

所述处理设备根据外极几何的约束，构造所述特征点对应的外极几何图像；

所述处理设备根据所述外极几何图像，估计相机位姿；

所述处理设备通过光束平差BA算法，最小化所述相机位姿的重投影误差；

所述处理设备通过运动重构算法，构建所述特征点对应的图像稀疏点云信息；

所述处理设备通过量子进化算法QEA为每一幅图像选择相邻图像，构建立体图像组；

所述处理设备通过PatchMatch算法计算每幅图像的深度图；

所述处理设备通过变分算法将多个所述深度图进行融合，得到深度图像；

所述处理设备通过poisson算法构建环境表面，得到所述三维环境信息。