[发明专利]一种基于语义信息的空中三维模型修复系统及方法

说明书

本发明公开一种基于语义信息的空中三维模型修复系统及方法。本发明方法利用图像的语义分割与图像定位技术，实现基于语义信息的空中三维模型组合式修复，克服现有的通过将地面图像及航拍图像进行注册的方法进行空中三维模型修复的计算量过大、缺乏实时性等缺点。基于语义信息的空中三维模型修复方法主要的思想是利用语义标签对移动机器人实时扫描的点云进行语义重建。并且为了提高实时点云的实时语义分割，我们利用现有的高精度的图像语义分割方法，通过预先标定好相机和激光雷达的相对位姿，将图像的语义标签赋值给点云，实现激光雷达点云的实时高精度语义分割。通过语义信息对空中三维模型进行修复使得模型具备更精美的展示效果。

技术领域

本发明涉及图像处理及三维重建领域，特别涉及一种基于语义信息的空中三维模型修复系统及方法。

背景技术

空中三维模型即通过无人机对指定园区进行倾斜摄影，利用倾斜摄影的图像构建出GIS空中三维模型，在自动驾驶、GIS监控、智慧城市等领域应用非常广泛，但是通过倾斜摄影构建的空中三维模型由于其视角主要在空中，地面视角下的空中三维模型存在很多由于倾斜摄影难以拍到而导致存在很多的空洞等缺陷，因此如何修复空中三维模型的地面视角部分成为一个重要的研究课题。目前空中三维模型修复方法是通过将地面视角下的图像与无人机航拍的图像注册到同一个坐标系中，并将地面视角下的图像加入到航拍图像中重新进行三角测量并重新建立空中三维模型，从而利用地面视角下的图像修复空中三维模型的目的。

但是这种方法主要的思路是将地面视角下图像及航拍图像进行注册到同一个坐标系中，容易受到导航的坐标的误差的影响，导致注册后的相机坐标误差较大而影响修复后模型的可展示性，并且其需要将空中三维模型重新建立，占用过多的计算资源，缺乏实时性。

发明内容

为了解决以上问题，本发明提出一种基于语义信息的空中三维模型修复系统及方法，通过将地面视角下实景图片的语义信息赋予空中三维模型的中对应部分的点云语义信息，构建基于深度学习的语义模型还原网络，将实景图片中的点云模型进行修复还原，并且利用激光雷达点云和图像信息对图片在空中三维模型中进行精准，以实现还原后的模型替换空中三维模型中残缺的模型。

为实现上述目的，本发明实施方式的一方面提供一种基于语义信息的空中三维模型修复系统，包括：

实时点云语义分割模块：用于对空中三维模型的点云进行语义分割；

空中三维模型中自主定位模块：用于对移动机器人实时采取的图像进行地理定位；

实时点云重建及模型组合式修复模块：用于对语义分割的点云进行语义重建。

优选地，所述的实时点云语义分割模块具体包括：

实时图像的语义分割模块：对移动机器人采取的实景图像进行语义分割，以赋予激光雷达点云语义信息；

激光雷达和相机的相对位姿标定单元：利用三维空间中的线及其在相机中的投影之间的对应关系，标定出激光雷达和相机之间的相对位姿；

空中三维模型点云语义获取模块：依据所述激光雷达和相机的相对位姿标定单元中计算出来的位姿，将激光雷达点云投影到移动机器人的相机位置，并根据图像的语义信息赋予点云相应的语义信息。

优选地，所述的空中三维模型中自主定位模块具体包括：

语义地图建立单元：模拟移动机器人在空中三维模型中采集激光雷达点云，并对采集的点云进行语义分割、描述建立语义地图；

空中三维模型中地面图像信息采集单元：通过模拟移动机器人在空中三维模型中进行采集空中三维模型的模拟图像以及其对应的ENU坐标；

空中三维模型分块索引建立单元：将空中三维模型进行分块，并建立每一小块的单独索引，用于根据图像的粗略定位输出大致定位的块索引；