[发明专利]一种基于卷积神经网络的图像运动模糊去除方法

说明书

本发明属于数字图像处理技术领域，具体为一种基于卷积神经网络的图像运动模糊去除方法。图像运动模糊去除技术用于图像清晰化与增强，消除在拍摄过程中，由于相机或物体相对运动所产生的图像重影、模糊、扭曲等现象，从而重建清晰的图片。本发明首先运用新型的卷积运算，空洞卷积，构建一个多尺度深度信息融合的深度神经网络系统；其次，进行数据准备与模型训练，当误差降低至某阈值，可认为网络收敛；最后，在应用阶段，将模糊图像输入系统，直接得到清晰图像。实验结果表明，给定一张运动模糊图片，本发明既能够清除越过边缘侵蚀的模糊模式，又能够合理的还原图像细节，得到与其对应的清晰图片。

技术领域

本发明属于数字图像处理技术领域，具体涉及图像运动模糊去除方法。

背景技术

近年来，随着手持移动终端的普及，数字图片越来越多的来自于移动终端的拍摄。由于手持设备容易晃动，加之拍摄物体快速运动，运动模糊极易被引入，导致图像质量降低。图像运动模糊去除作为图像增强的一个研究分支，有着较高的科学研究价值与广泛的现实应用需要。

图片模糊是由相机或是拍摄物体在曝光时间内的相对运动所造成的。其成因可以概括为公式如下：I_B＝K*I_S+N，其中，I_B为已知模糊的图像，I_S为待求的清晰图像，K为运动模糊核，“*”表示卷积运算，N表示随机噪声。传统的算法，如Szeliski等人的工作，往往对卷积核K有着过多的假设，例如假定运动模式、假设全局统一运动等等，应用Weiner滤波，Richardson-Lucy算法等技术还原清晰图像。由于该类算法对运动核的约束过于强，导致传统算法在人工生成的模糊图片集上性能优良，但对于真实模糊图片的效果不好。接下来，例如Schuler等人、Chakrabarti等人的工作，集中于弱化、取消对于K的假设，从模糊图像I_B中求得模糊核K，再定义能量函数并对其进行优化，实现模糊图像去卷积的过程，产生清晰的图片。虽然改进算法相比传统算法，在自然模糊图片下具有更强的泛化能力，但是自然照片模糊核K十分复杂，无法做到精准的估计，成为了该类算法的瓶颈。

最近随着卷积神经网络(CNNs)的发展，CNN的架构逐渐应用到解决图像去模糊的问题上。Sun等人提出了基于CNN估计模糊核、马尔科夫随机场建立稠密运动场的估计，优化能量函数的算法，缺点是预先给定了模糊核的集合(相当于对K进行约束)，使得模糊核离散化，估计的精度有限。Nah等人提出了端到端去模糊的CNN模型，但是其引入了过多的不同尺度分支，导致运行效率降低，将低分辨率的特征映射插值拉大，损失了细节信息。

发明内容

本发明的目的在于提出一种泛化能力强、运行效率高的图像运动模糊去除方法。

本发明提出的图像运动模糊去除方法，是基于卷积神经网络的，其中，首次提出“空洞卷积”这种特殊卷积运算，扩大了感受野的范围；通过累加使用可代替池化层，使得感受野进一步扩展而不必缩放特征映射；并通过引入混合残差块，加深网络深度；本发明进一步提高了模型拟合能力；将低层次特征映射聚合至高层次，使得小尺度局部信息与大尺度全局信息相融合，从而使图片中不同尺度的模糊被模型感知而去除。

本发明提出的基于卷积神经网络的图像运动模糊去除方法，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：

(1)深度神经网络模型的构建

本发明首先构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片。该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成。其拓扑结构为：卷积层0→混合残差块0→空洞卷积层0→混合残差块1→空洞卷积层1→混合残差块2→空洞卷积层2→混合残差块3→空洞卷积层3→混合残差块4(+3)→空洞卷积层4→混合残差块5(+2)→空洞卷积层5→混合残差块6(+1)→空洞卷积层6→混合残差块7(+0)→卷积层1→混合残差块8→卷积层2→残差与输入融合→输出结果。