[发明专利]一种基于语义信息的空中三维模型修复系统及方法

权利要求书

1.一种基于语义信息的空中三维模型修复系统，其特征在于，包括：

实时点云语义分割模块：用于对空中三维模型的点云进行语义分割；

空中三维模型中自主定位模块：用于对移动机器人实时采取的图像进行地理定位；

所述的空中三维模型中自主定位模块具体包括：

语义地图建立单元：模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

空中三维模型中地面图像信息采集单元：通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

空中三维模型分块索引建立单元：将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

基于图像粗略定位单元：利用所述空中三维模型地面图像信息采集单元中采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位模块，并根据所述空中三维模型分块索引建立单元的块索引输出粗略定位的块索引；

基于激光雷达点云的精确定位模块：对激光雷达实时扫描得到的点云进行语义分割、描述，并根据所述基于图像粗略定位单元输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿；

实时点云重建及模型组合式修复模块：用于对语义分割的点云进行语义重建。

2.根据权利要求1所述的基于语义信息的空中三维模型修复系统，其特征在于，所述的实时点云语义分割模块具体包括：

实时图像的语义分割模块：对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

激光雷达和相机的相对位姿标定单元：利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

空中三维模型点云语义获取模块：依据所述激光雷达和相机的相对位姿标定单元中计算出来的位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

3.根据权利要求1所述的基于语义信息的空中三维模型修复系统，其特征在于，所述实时点云重建及模型组合式修复模块具体包括：

实时点云体素化模块：将移动机器人实时扫描的激光雷达点云去除地面部分的点云后，对点云进行体素化处理，以减小实时计算时的计算量以及去除一些不必要的点云噪点；

基于深度学习的体素模型语义重建模块：构建深度学习网络，通过体素化模型的语义信息对实时体素模型进行重建修整；

网格模型重建模块：用于将体素模型还原成网格化模型，并将网格化模型替换到初始的空中三维模型中。

4.一种基于语义信息的空中三维模型修复方法，其特征在于，包括以下步骤：

步骤1、通过标定出激光雷达和相机之间的相对位姿之后，将图像的语义标签赋予给激光雷达点云；

步骤2、利用图像信息和激光雷达点云实现移动机器人在空中三维模型中精确定位；

步骤2包括如下步骤：

步骤2-1、模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

步骤2-2、通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

步骤2-3、将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；

步骤2-4、利用步骤2-2采集的图像及其对应的ENU坐标制作数据集，搭建基于单帧图像的相机位姿估计深度学习网络进行训练，得到基于图像的移动机器人粗略定位，并根据步骤2-3的块索引输出粗略定位的块索引；

步骤2-5、对激光雷达实时扫描得到的点云进行语义分割、描述，并根据步骤2-4输出的移动机器人此时的粗略定位块索引，在对应的块索引的语义地图中进行搜索、匹配，最后计算出移动机器人在空中三维模型中的精确位姿；

步骤3、将空中三维模型的点云模型进行重建并替换到初始空中三维模型中。