[发明专利]一种基于卷积神经网络的图像运动模糊去除方法

摘要

本发明属于数字图像处理技术领域，具体为一种基于卷积神经网络的图像运动模糊去除方法。图像运动模糊去除技术用于图像清晰化与增强，消除在拍摄过程中，由于相机或物体相对运动所产生的图像重影、模糊、扭曲等现象，从而重建清晰的图片。本发明首先运用新型的卷积运算，空洞卷积，构建一个多尺度深度信息融合的深度神经网络系统；其次，进行数据准备与模型训练，当误差降低至某阈值，可认为网络收敛；最后，在应用阶段，将模糊图像输入系统，直接得到清晰图像。实验结果表明，给定一张运动模糊图片，本发明既能够清除越过边缘侵蚀的模糊模式，又能够合理的还原图像细节，得到与其对应的清晰图片。

主权项

1.一种基于卷积神经网络的图像运动模糊去除方法，其特征在于，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：(1)深度神经网络模型的构建构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成；其拓扑结构为：第一卷积层0→第一混合残差块0→第一空洞卷积层0→第二混合残差块1→第二空洞卷积层1→第三混合残差块2→第三空洞卷积层2→第四混合残差块3→第四空洞卷积层3→第五混合残差块4(+3)→第五空洞卷积层4→第六混合残差块5(+2)→第六空洞卷积层5→第七混合残差块6(+1)→第七空洞卷积层6→第八混合残差块7(+0)→第二卷积层1→第九混合残差块8→第三卷积层2→残差与输入融合→输出结果；其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“混合残差块a(+b)”表示将“混合残差块b”的结果聚合到“混合残差块a”的结果中，二者一齐作为下一层的输入内容；(2)训练数据的准备与模型训练假设数据集含有n组清晰‑模糊图像对，即S＝{(ISi,IBi)}，i＝1,2,…n；ISi表示第i张清晰图像，IBi表示第i张模糊图像；将每张图片裁剪出数个96×96的子图，得到子图集合T＝{(IS′ij,IB′ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排，下采样1、1/2、1/3、1/4；最终得到规模扩大96倍的子图集合T′，作为深度神经网络的训练集合，T＝{(IS″ij,IB″ij)}，i＝1,2,…n，j＝1,2,…96×m；以此数据集作为监督信息训练网络；(3)深度神经网络模型的使用对于一张待处理的模糊图像IB，直接将其输入经过训练的深度神经网络，得到的网络输出IS，即为清晰结果；步骤(1)中，所述空洞卷积层中的空洞卷积的定义如公式(1)所示：其中，Ω_i,j是图像中被滤波器覆盖的、以(i,j)为中心的边长为K的区域，K为奇数，表示空洞卷积的尺寸，空洞卷积的半径用l表示，卷积核是一个以(i,j)为中心，K为边长的正方形框以及中心；H为该卷积核系数展开的向量，左上角位置的参数记为H₁，沿顺时针分别记作H₁、H₂…H_4K‑4，中心点参数记为H₀。