[发明专利]一种高分辨率纹理生成的航拍图运动物体检测与消除方法

说明书

本发明公开了一种高分辨率纹理生成的航拍图运动物体检测与消除方法，从航拍图中检测可疑物体，对可疑物体进行筛选得出运动物体并对运动物体进行掩膜，通过对掩膜区域进行图像修复去除运动物体，可以有效改善和解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建纹理效果问题以及三维建模中模型扭曲和纹理错误贴图的问题，并且，是针对不同的情况选择合适的纹理图片进行运动物体的消除，使得消除运动物体后的图像更接近地面真实情况；此外，本发明实施例提供的上述航拍图运动物体检测与消除方法，能够有效检测出动态背景下的运动物体，不仅仅局限于视频等重叠度大的相邻帧图片，尤其适用于如航拍图等重叠度较小的情况。

技术领域

本发明涉及图像处理和三维场景建模技术领域，尤其涉及一种高分辨率纹理生成的航拍图运动物体检测与消除方法。

背景技术

基于航拍图进行自动化三维建模，形成高分辨率的地形地貌三维模型是虚拟现实、增强现实等诸多领域的重要需求。如何在相机条件或飞行环境有限的情况下，建立更高清的纹理图片和更精准的三维模型是面向各类应用的关键。

现有的三维场景建模，大多是直接采用航拍图和三维建模软件进行。在实际的航拍过程中，受到飞行高度和飞行环境的影响，航拍过程通常持续时间较长，其中的车辆和行人变化较多、位置差距较大，并且，当航拍图的分辨率不能满足建模需求时，需要进行图像超分辨率重建使得分辨率更高，而超分辨率重建容易受到航拍过程中行车及行人的影响，产生纹理重影，此外，地面上运动的车辆、行人也会在三维场景重建过程中对空三处理和纹理贴图等步骤产生一定的影响，造成三维场景模型扭曲或者纹理错位等影响，由此可见，去除航拍图动态背景下的运动物体，对于仿真结果的精度提高有着重要影响。

传统的针对动态背景下的运动目标检测，多是针对监控录像等整个视频序列通过光流法、帧间差分法等方式得出。近年来出现利用深度学习算法包括RetinaNet、YOLOv3、SSD、Fasrter R-CNN等检测出车辆，通过视频帧对运动目标进行跟踪得出运动轨迹等算法，例如，在整个视频序列中获得车辆检测结果，将多目标跟踪问题简化为一个数据关联问题，目的是将视频序列中不同帧间的检测关联起来，直接通过相邻图像帧静态物体位置变化小而动态物体位置变化大的特性，只考虑边界盒的位置坐标和相应的车辆类型，判断同一车辆的移动，用于运动估计和数据关联。上述方法存在的问题是，监控视频拍摄的地点固定，连续帧之间背景差距小，对于非同一点拍摄的航拍图，无论是背景还是车辆在连续照片中差距都较大，直接采用像素点位置进行车辆跟踪不可行。

因此，针对不连续航拍图如何合理进行运动物体检测以及如何去除运动物体，是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种，用以解决在航拍过程中由于车辆或行人等运动物体的位置变化造成的图像超分辨率重建结果的运动物体重影、三维场景模型扭曲及纹理错位等问题。

因此，本发明实施例提供了一种高分辨率纹理生成的航拍图运动物体检测与消除方法，包括以下步骤：

S1：准备待处理航拍图，对图像进行分割；

S2：利用深度学习算法对分割后的图像进行物体检测，并将检测后的图像重新连接还原为大图；

S3：对比相邻两张图像，判断运动物体，并对需要去除的运动物体进行掩膜；

S4：根据对比结果采取相应措施消除运动物体，包括利用匹配图像纹理贴图和利用图像修复算法修复图像。

在一种可能的实现方式中，在本发明实施例提供的上述航拍图运动物体检测与消除方法中，步骤S1，准备待处理航拍图，对图像进行分割，具体包括：

S11：准备待处理航拍图；

S12：根据物体检测和图像修复算法的计算，选择合适的图像分辨率，对图像进行分割。