[发明专利]一种基于生成对抗网络的图像运动模糊盲去除方法

说明书

本发明提出了一种基于生成对抗网络的图像运动模糊盲去除方法。本发明首先在生成器中加入空间注意力模块，利用所有像素之间丰富的上下文信息来对复原图像中目标结构实施几何约束，引入全局信息以减少信息丢失。其次，采用局部‑全局双尺度判别器，以兼顾图像局部纹理和全局结构信息。最后，设计了多分量损失函数，联合约束模型进行图像高频边缘和细节的重建。本发明方法改进了单图像盲去运动模糊方法，可以从非均匀运动模糊图像中有效复原出结构更明显、细节更丰富的图像。该方法在目标跟踪、交通检测、医学成像、军事侦察等领域具有广泛的应用前景。

技术领域

本发明涉及数字图像处理的技术领域，特别涉及一种基于生成对抗网络的图像运动模糊盲去除方法。

背景技术

运动模糊作为最常见的一种图像模糊类型，图像运动模糊的去除一直是图像去模糊研究领域中的一个热门研究方向。运动模糊的主要原因是在曝光时间内，设备和拍摄对象之间存在快速的相对运动。模糊的图像不仅会降低人类的感知质量，还对高级视觉任务(如目标检测和语义理解等)算法的精确度产生负面影响。因此图像去模糊一直是图像处理领域一个基本但十分重要的问题，具有重要的学术价值和应用价值。

根据模糊核是否已知可以将图像去模糊算法分为非盲去模糊和盲去模糊两类，非盲去模糊方法大多首先根据相机的运动估计模糊核，然后通过反卷积运算获得潜在清晰图像。然而，运行时间、停止准则、繁琐的优化方案、对噪声敏感等问题使这类算法在动态场景的运动模糊处理方面存在局限性。此外，由于一个输入图像的解即输出合理的清晰图像有无数种可能，人们需要在这些清晰图像中选取最合适的那一个，所以它是一个典型的不适定问题，而对于这种问题处理难度十分的大。在现实中，模糊核往往是不确定的，由于运动模糊形成的复杂性，当模糊核复杂且所需清晰图像的细节丰富时，大多数现有非盲去模糊方法可能无法产生令人满意的结果。

近年来，随着深度学习的发展，卷积神经网络被广泛应用于图像处理领域，并取得了前所未有的巨大成功。Sun等人使用卷积神经网络(CNN)估计补丁级别图像的运动模糊核，采用马尔可夫随机运动场模型来模拟密集的非均匀运动模糊并用估计出的模糊核去除图像中的非均匀运动模糊。该方法将卷积神经网络应用在了图像去模糊，为后续基于此的各种方法奠定了基础。该方法虽然采用盲去模糊算法还原图像，但对模糊核估计后仍然沿用了非盲去模糊的思想，对图像进行反卷积操作,这导致了算法运行缓慢且还原结果依赖于模糊核估计的准确性，并且由于训练过程是在补丁级进行的，这种方法可能会丢失一些严重模糊区域的高级信息；Nah等人提出了一种运用多尺度CNN直接对图像去模糊的方法。该方法采用“端到端”的训练方式从粗到精地去除动态场景模糊，具有很强的泛化性，但是多尺度模型使得网络参数量较多，运行速度较慢；Kupyn等人提出了DeblurGAN，一种基于条件生成对抗网络的端到端学习的去运动模糊方法。它在带有梯度惩罚的Wasserstein GAN的基础上加入感知损失作为优化目标。相比多尺度卷积神经网络，它以更快的运行速度和更简单的网络结构获得了更出色的去模糊效果，但是对于分辨率更高的图像存在的严重的运动模糊仍无能为力。

基于卷积神经网络的方法采用端到端可训练的方式，直接从模糊图像中恢复潜在的清晰图像，避免了对模糊核的估计。尽管在不假设任何限制模糊核模型的情况下，深度图像去模糊已经付出了大量的努力，但在深度去模糊方法中仍然存在一些局限：不是需要非常深的网络结构就是只在特定的场景下有效，应用在模糊程度较重、分辨率更大、场景更复杂的模糊图像中效果往往令人不太满意。首先，众所周知，在同一动态场景图像中，不同区域或物体的模糊程度通常会不同，同一区域内的相邻像素间往往存在更紧密的联系。无区别地对待特征图中不同空间位置的信息，忽略了在更大范围内空间的像素差异性和相关性，也在一定程度上限制了网络的特征表达和学习能力。另外，由于人眼容易获取图像中的结构信息，对于同一物体我们第一眼更关注它的轮廓边缘来判断它的类型，然后才会去关注它的细节纹理，因此，模型应该从全局尺度整体地考虑以获取更大的感受野。

发明内容

本发明的主要目的是设计一种基于生成对抗网络的图像运动模糊盲去除方法。