[发明专利]基于伪3D自相关网络的真实图像去噪方法

说明书

本发明公开了基于伪3D自相关网络的真实图像去噪方法，包括：基于一维快速卷积构建伪3D自相关模块P3AB，以用于：对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平、垂直和通道方向的自相关特征，完成所有位置遍历后，分别得到三个方向的伪3D自相关特征；对三个方向的伪3D自相关特征进行通道级联、自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；通过残差连接将全局自相关特征与输入特征图相加后作为P3AB的输出；构建伪3D自相关网络P3AN；P3AN包括浅层特征提取单元、堆叠的P3AB和末尾卷积层，并设置有两层跳跃连接；训练P3AN；利用训练好的P3AN对输入的真实噪声图像进行去噪，输出去噪后的图像。

技术领域

本发明涉及计算机视觉和图像处理领域，特别涉及一种基于伪3D自相关网络的真实图像去噪方法。

背景技术

自然图像中的噪声往往具有多种来源，例如捕获仪器中的暗电流噪声和传输介质中的随机扰动等。目前大量先进的方法已经在去除合成的高斯白噪声方面取得了显著的效果。但是，真实图像中的噪声在CCD或CMOS相机系统中往往具有复杂的生成过程，他们通常是非高斯和不均匀的。因此，在真实噪声图像的复原任务中，基于合成数据的去噪算法很难准确地模拟和去除不规则噪点。对于盲图像去噪，由于缺少特定的噪声先验，输入的低质量噪声图像成为唯一的信息来源。因此，如何从原始图像中捕捉更完备的先验特征和相关性信息显得尤为重要。

图像的自相关性先验已经在许多传统降噪算法中得到了广泛探索并发挥了重要作用。为了使模型具有强大的学习和表示能力，最近的方法试图利用深度学习方法来积累更有效和全面的先验知识。目前，自相关特征在卷积神经网络中的提取可分为基于通道和基于空间的算法。基于空间的算法则围绕着被证明为自然图像的强大特性的空间自相似性展开。一种通用的做法是通过非本地块获得空间域中的全局自相关，再相应计算为所有像素方向特征的加权和特征图，以获得密集和像素级的远程全局上下文信息。

然而，图像自相关性在深度学习中的进一步探索遭遇了瓶颈。一方面，尽管在基础CNN中增加捕捉其中某种类型的全局自相关性的结构已经带来了更高的模型复杂度和较大的计算负担，大多数现有方法仍致力于构建更复杂的自相关模块以实现更好的性能。另一方面，CNN中的特征图通常是3维的，因此一个完备的自相关特征应该同时具备通道和空间两个方向。一个直观的方案是引入3D卷积，伴随参数的爆炸式增长。目前有一些方法通过串联或并联的结构结合通道中的自注意力和空间中的自相似性机制。这种分步操作不仅增加了模型的复杂度，也会破坏局部区域中连续的相关性。高模型复杂性使得大多数自相关模块只能在单个或几个卷积块中使用。

可见，现有技术对于真实噪声图像的去噪，存在去噪效果差、去噪模型复杂度高、计算负担大的问题。

发明内容

本发明的主要目的在于提出一种基于伪3D自相关网络的真实图像去噪方法，解决目前真实噪声图像的去噪方法所存在的去噪效果差、去噪模型复杂度高且计算负担大的问题。

本发明为解决上述问题所提出的技术方案如下：

一种基于伪3D自相关网络的真实图像去噪方法，包括：

S1、基于一维快速卷积构建伪3D自相关模块，所述伪3D自相关模块用于执行如下操作：

首先，对输入特征图每个位置上的元素，通过一维快速卷积分别提取水平方向、垂直方向和通道方向的自相关特征，完成所有位置的遍历后，分别得到水平方向、垂直方向和通道方向的伪3D自相关特征；其次，对水平方向、垂直方向和通道方向的伪3D自相关特征进行通道级联，再进行自适应特征融合，得到包含空间域自相关信息和通道域自相关信息的全局自相关特征；最后，通过残差连接将所述全局自相关特征与所述输入特征图相加后作为所述伪3D自相关模块的输出；

S2、基于所述伪3D自相关模块，构建伪3D自相关网络；