[发明专利]一种基于Transformer的运动图像去模糊方法

说明书

本发明公开了一种基于Transformer的运动图像去模糊方法，包括如下步骤：准备图像去模糊的数据集，数据集包括Gopro、HIDE和RealBlur‑J；数据预处理；将准备好的Gopro数据集中的模糊图像作为训练集，并将模糊图片放入Transformer模型中进行训练；将每次放入Transformer模型训练出来的图片与参考图片放入损失函数中，不断计算返回的梯度，最后保存最优的模型传入到下一阶段进行学习；将一张模糊图片输入到保存的模型中进行处理，得出一张清晰的图片。本发明通过关键模块的构建，捕捉远程像素交互的信息，增强了信道之间的信息传递，在性能指标以及视觉效果上有很大的提高。

技术领域

本发明属于智能图像处理技术领域，特别涉及一种基于Transformer的运动图像去模糊方法。

背景技术

目前，图像采集在人们的生活和工作中起到不可或缺的作用，但是图像模糊问题在生活中普遍存在，由于相机抖动、物体快速运动失焦等问题，都会使图像变模糊。此外，在拍摄的场景下随时间不断的迁移，图像具有不可以重复性，如果相机抖动或物体快速移动从而导致模糊的问题，很有可能会导致图像不可用，对这类问题，具有很重要研究意义。因此，在生活中运动模糊图像是非常普遍的现象，比如说，拍照时手机快速移动从而产生了一定的模糊存在、用相机在拍照车辆快速移动的过程也会产生模糊的现象，为了解决这些方法，其目标就是将具有必要的边缘结构和局部信息恢复成高清的图像。

在深度学习没有出现之前，一般都是通过平移或者经过旋转相机运动来解决这些问题，同时这些问题也是模糊核已知的非盲去模糊。随之深度学习的出现主要是为了解决盲去模糊图像的问题，研究人员利用多尺度卷积神经网络以及密集连接的卷积神经网络，对已知模糊核的运动模糊图像进行去模糊从而变成高清图像的操作。但如今大多数深度学习的方法中，在将模糊图片变成高清图片的过程仍然遇到很多的问题。特别是在通道之间的信息传递和空间纹理细节方面表现并不是很好，不能恢复出很好的效果，从而导致输出模糊图像。

受到最新的发明中对Transformer混合自编码器的图片盲去运动的启发，它结合了CNN-Transformer的方式将空间纹理细节和高级上下文之间的平衡处理得比较好，但对聚合局部和非局部像素交互的信息仍未达到很好的作用，同时对抑制信息量较少的特征，只允许部分有用的信息通过网络层次进一步传递，并不能很好的在信道之间传递纹理细节的信息，模型性能有待提升。

发明内容

本发明的目的是针对现有运动图像去模糊技术的不足，而提供一种基于Transformer的运动图像去模糊方法，以解决上述问题。

本发明提供如下的技术方案：

一种基于Transformer的运动图像去模糊方法，包括如下步骤：

S1，准备图像去模糊的数据集，数据集包括Gopro、HIDE和RealBlur-J；

S2，数据预处理；

S3，将S1准备好的Gopro数据集中的模糊图像作为训练集，并将模糊图片放入Transformer模型中进行训练；

S4，将每次放入Transformer模型训练出来的图片与参考图片放入损失函数中，不断计算返回的梯度，最后保存最优的模型传入到下一阶段进行学习；

S5，将一张模糊图片输入到保存的模型中进行处理，得出一张清晰的图片。

进一步地，所述S1中的数据集包括：训练集、验证集和测试集。

进一步地，所述S2包括：将进入模型训练之前的图片随机切为160*160大小。

进一步地，所述S3中的Transformer由MDTA、GDFN模块组成。

进一步地，所述MDTA生成查询键和值投影；