[发明专利]一种基于卷积神经网络的图像运动模糊去除方法

权利要求书

1.一种基于卷积神经网络的图像运动模糊去除方法，其特征在于，包括深度神经网络模型的构建、训练数据的准备与模型训练、深度神经网络模型的使用三个阶段；具体步骤如下：

(1)深度神经网络模型的构建

构建一个多尺度深度信息融合的深度神经网络模型，用以生成清晰图片；

该模型由3个卷积层、7个空洞卷积层、9个混合残差块构成；其拓扑结构为：第一卷积层0→第一混合残差块0→第一空洞卷积层0→第二混合残差块1→第二空洞卷积层1→第三混合残差块2→第三空洞卷积层2→第四混合残差块3→第四空洞卷积层3→第五混合残差块4(+3)→第五空洞卷积层4→第六混合残差块5(+2)→第六空洞卷积层5→第七混合残差块6(+1)→第七空洞卷积层6→第八混合残差块7(+0)→第二卷积层1→第九混合残差块8→第三卷积层2→残差与输入融合→输出结果；

其中，“→”符号表示神经网络层间连接，“A→B”表示A层输出数据作为B层输入；“混合残差块a(+b)”表示将“混合残差块b”的结果聚合到“混合残差块a”的结果中，二者一齐作为下一层的输入内容；

(2)训练数据的准备与模型训练

假设数据集含有n组清晰-模糊图像对，即S＝{(IS_i,IB_i)}，i＝1,2,…n；IS_i表示第i张清晰图像，IB_i表示第i张模糊图像；将每张图片裁剪出数个96×96的子图，得到子图集合T＝{(IS′_ij,IB′_ij)}，i＝1,2,…n，j＝1,2,…m，m为每张图片裁得子图数量；再将T的每一个子图进行左右对称，旋转90度，颜色通道混排，下采样1、1/2、1/3、1/4；最终得到规模扩大96倍的子图集合T′，作为深度神经网络的训练集合，T＝{(IS″_ij,IB″_ij)}，i＝1,2,…n，j＝1,2,…96×m；以此数据集作为监督信息训练网络；

(3)深度神经网络模型的使用

对于一张待处理的模糊图像I_B，直接将其输入经过训练的深度神经网络，得到的网络输出I_S，即为清晰结果；

步骤(1)中，所述空洞卷积层中的空洞卷积的定义如公式(1)所示：

其中，Ω_i,j是图像中被滤波器覆盖的、以(i,j)为中心的边长为K的区域，K为奇数，表示空洞卷积的尺寸，空洞卷积的半径用l表示，卷积核是一个以(i,j)为中心，K为边长的正方形框以及中心；H为该卷积核系数展开的向量，左上角位置的参数记为H₁，沿顺时针分别记作H₁、H₂…H_4K-4，中心点参数记为H₀。

2.根据权利要求1所述的基于卷积神经网络的图像运动模糊去除方法，其特征在于，步骤(1)中，一共有四处特征映射的聚合，分别为：

1)第四混合残差块3与第五混合残差块4聚合，送入第五空洞卷积层4；

2)第三混合残差块2与第六混合残差块5聚合，送入第六空洞卷积层5；

3)第二混合残差块1与第七混合残差块6聚合，送入第七空洞卷积层6；

4)第一混合残差块0与第八混合残差块7聚合，送入第二卷积层1。

3.根据权利要求1所述的基于卷积神经网络的图像运动模糊去除方法，其特征在于，步骤(1)中，所述混合残差块的结构为：残差块包含输入信号、两个运算分支以及输出分支；第一分支经过一个Dropout层、四个卷积层，第二分支直接保留输入信号；两分支共同进入Sigmoid层，由神经网络学习出系数，将二者的信号混合得到最终的输出，计算公式为下式(2)所示：

O(X)＝V(X，H(X))⊙H(X)+(1-V(X，H(X)))⊙X (2)

其中，X代表输入信号，O(X)代表输出信号，H代表第一分支得到的卷积结果，V(X,H(X))代表根据由Sigmoid层学到的两个分支混合的比例，⊙代表各个维度均相同的矩阵对应位置进行点乘运算。