[发明专利]一种基于深度学习的无人机运动模糊图像的复原方法

说明书

本发明提出了一种基于深度学习的无人机运动模糊图像的复原方法，在像素递归超分辨率网络的基础上，对其进行改进，将沙漏网络的优点引入进来，形成一种新的网络模型。网络模型分为优先网络和调节网络两个支路。优先网络是一个pixelCNN，其接收清晰图像作为输入，用于描述模糊图像的轮廓。调节网络为一个沙漏模块堆叠的沙漏网络，其接收模糊图像作为输入，通过最大池化层进行下采样，通过残差模块加深网络的深度，学习图像的细节特征，通过转置卷积进行上采样，综合学习不同尺度下的特征，从而实现了对运动模糊图像的超强复原能力。

技术领域

本发明涉及计算机图像处理领域，具体涉及一种基于深度学习的运动模糊图像的复原方法。

背景技术

运动模糊图像的复原一直以来都是一个比较具有挑战性的问题，对其进行研究具有重要的实用价值和意义。

传统的去运动模糊方法有快速傅立叶变换去模糊法、Wiener滤波器去模糊法、Lucy-Richardson去模糊法。这些传统方法对运动模糊的复原能力非常有限。目前，深层卷积神经网络在运动模糊图像补偿领域内取得了较好的效果。相比传统的方法，基于深层卷积神经网络的运动模糊补偿方法不仅适合相机直线运动情形，也适合非线性运动的情形。然而，现有的基于卷积神经网络的去运动模糊方法不适合高速运动情形。因为方法主要基于至底向上的数据驱动原理，虽然针对所有的运动模糊的像素都有一定的效果，但是很难将形态极度扭曲的模糊图像进行复原。

像素递归超分辨率网络是一种基于残差网络和PixelCNN的超分辨率网络，它能够将低分辨率图像重建为高分辨率图像。这种至顶向下的像素生成能力非常强大。堆叠沙漏网络是一个由单个或多个沙漏模块组成的全卷积神经网络，它是为了解决人体姿势估计问题而被设计出来的。沙漏网络的优点在于：通过一个统一的结构便可同时捕获全局特征和局部特征，且当多个沙漏模块堆叠在网络中时，沙漏模块可以对这些特征进行多次处理以捕获更高级别的语义信息。

发明内容

本发明解决的技术问题在于针对高速运动的物体产生形态极度扭曲的模糊情形，提出一种具有超强复原能力的像素生成的深层神经网络对运动模糊的图像进行运动模糊复原。

为解决上述问题，本发明采用了如下技术方案：

一种基于深度学习的无人机运动模糊图像的复原方法，包括如下步骤：

S1、收集无人机图片，制作数据集，所述数据集包括训练集和测试集，所述训练集和测试集分别包含清晰的无人机图像和对应的运动模糊的无人机图像；

S2、建立网络模型，所述网络模型包括优先网络和调节网络，所述优先网络为一个PixelCNN，所述调节网络为由沙漏模块堆叠而成的沙漏网络；

S3、将训练集中的数据导入到所述网络模型中进行训练，将清晰图像输入所述优先网络，运动模糊图像输入调节网络，通过优化输出图像与输入的清晰图像的误差，不断迭代，得到训练好的网络模型；

S4、使用测试集对所述训练好的网络模型进行测试，通过对比测试集中清晰的无人机图像与训练好的网络模型生成的无人机图像，得到清晰图像和生成的结果图像的对比参数，满足预设阈值后完成测试；

S5、使用完成测试的网络模型复原无人机运动模糊图像。

进一步的，步骤S1中，通过对清晰的图像进行旋转、线性模糊或高斯噪声处理或生成对应的运动模糊的无人机图像。

进一步的，步骤S2中，所述调节网络由两层沙漏模块堆叠而成，沙漏模块的下采样为最大池化操作，上采样为转置卷积操作。

进一步的，步骤S3具体包括：

S31、将训练集中的清晰图像输入所述优先网络，对应的运动模糊图像输入调节网络；