[发明专利]一种基于扩散模型的图像去模糊方法

说明书

本发明公开了一种基于扩散模型的图像去模糊方案，属于图像处理技术领域。所述方法包括：构建DMDIFF去模糊网络模型；其中，所述DMDIFF去模糊网络包括模糊图像特征编码器、深度梯度提取UNet骨干网络和交叉注意力子网络；对训练样本图像进行数据增强处理，得到目标训练样本；通过所述目标训练样本训练所述DMDIFF去模糊网络模型，得到目标扩散模型；将待处理图像输入所述目标扩散模型进行去模糊处理，生成目标图像。本方案基于扩散模型学习差值模板，重点学习图像中的高频信息，避免了GAN、VAE等生成模型训练困难、去模糊结果呈现平滑的问题。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于扩散模型的图像去模糊方法。

背景技术

随着摄影设备的更新迭代，越来越多的爱好者购入喜欢的设备记录日常旅游生活。但是由于曝光时间加上手抖动等客观原因导致图像产生运动模糊，严重影响图片的感官效果。研究人员将这种图像退化问题归类为去模糊问题，提出了多种解决方法，包括非盲去模糊、盲去模糊和深度学习去模糊。但是由于非盲去模糊和盲去模糊算法过程复杂，并且在模糊核估计过程中需要考虑大量因素，不仅显著提高计算成本，而且只能适应某些特定场景，无法解决实际场景中的去模糊问题。近些年来，深度学习在图像去模糊领域如火如荼。例如，DeblurGAN、SRNet等，这些基于深度学习的去模糊算法已经能够与传统方法相媲美甚至给出更好的去模糊效果。传统图像去模糊方法需要手动设计特征和算法，而深度学习方法通过使用大量数据集来训练神经网络主动学习特征，这使得其具有更强的适应性和泛化能力，能够处理更多图像模糊场景，为图像去模糊领域的进步带来了新的机遇和挑战。

基于CNN的网络架构重点学习从模糊图像到清晰图像的映射关系，不断加深网络并增大感受野范围，但是图像恢复细节不够，会引入伪影；基于GAN的网络架构重点在训练具备准确判别能力的鉴别器，通过鉴别器和生成器之间的博弈来生成高质量的去模糊图片，但是GAN网络在训练过程中很容易产生模型坍塌，并且图像多样性变差；基于多尺度的网络架构考虑了不同尺度之间的细节和语义信息，通过多尺度之间的融合来生成具有更多细节的去模糊图片，但是模型参数会变多，引入过多的冗余信息。上述这些框架都学习到了一个“黑盒”模型来忽略建模过程直接学习模糊图像到清晰图像的映射。除了上述问题外，这些“黑盒”模型还会出现去模糊结果平滑，高频特征不突出等问题。

发明内容

本发明针对现有部分生成模型(例如GAN、VAE等)训练困难、去模糊结果呈现平滑等问题，提供一种基于由简化注意力模块的骨干网络和交叉注意力子网络组成的扩散模型的图像去模糊方案。为了实现本目的，本发明采用了如下的技术方案：

本申请实施例提供了一种基于扩散模型的图像去模糊方法，包括以下的步骤：

构建DMDIFF去模糊网络模型；其中，所述DMDIFF去模糊网络包括模糊图像特征编码器、深度梯度提取UNet骨干网络和交叉注意力子网络；

对训练样本图像进行数据增强处理，得到目标训练样本；

通过所述目标训练样本训练所述DMDIFF去模糊网络模型，得到目标扩散模型；

其中，训练所述DMDIFF去模糊网络模型过程中使用Adam优化器更新网络模型参数；学习率更新采用StepLR策略；

将待处理图像输入所述目标扩散模型进行去模糊处理，生成目标图像。

可选地，所述模糊图像特征编码器包括4个NAFBlock，每个所述NAFBlock由1个卷积模块和6个残差块并联而成，所述残差块依次包括1个层归一化、1个1×1的卷积、1个3×3的深度卷积、一个门控单元、一个简化注意力模块和1个1×1的卷积，且所述残差块的输出与经过所述卷积模块的输入相加作为下一个NAFBlock的输入。

可选地，所述UNet骨干网络包括编码器、中间过渡模块和解码器，所述UNet骨干网络输入为清晰图像和模糊图像的差值，UNet骨干网络的输出为差值模板。