[发明专利]基于多头交叉注意机制的神经网络光场图像去模糊方法

说明书

本发明属于图像去模糊技术领域，公开了基于多头交叉注意机制的神经网络光场图像去模糊方法，具体为在光场生成的LFDOF数据集上训练网络；通过二次方法收集的DPDD数据集上使用特征损失对网络进行微调，以减轻两个域中存在的散焦模糊之间的差异；分析了两个散焦模糊数据集LFDOF和DPDD的特征，开发了一种新的基于多头交叉注意机制的去模糊训练策略；提出了一种端到端的网络架构，配备了新颖的动态残差块，以从粗到细的方式重建清晰的图像。本发明设计的端到端神经网络可有效消除空间变化的散焦模糊，解决了简单的二次拍摄无法实现散焦和全焦图像对之间的像素级对应的问题。

技术领域

本发明属于图像去模糊技术领域，具体是涉及一种基于多头交叉注意机制的神经网络光场图像去模糊方法。

背景技术

使用大光圈可以增加光通量，从而以更短的曝光时间拍摄图像；然而，这也降低了景深(DOF)，只有靠近焦平面的点才能被清晰地捕捉到，而远离焦平面的点将投射到相机传感器上，而不是单个图像点，此现象被称为散焦模糊，这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果，但它也可能会降低重要的视觉信息，因此，需要从散焦版本恢复全焦图像以揭示潜在信息，并有利于人工智能应用。尽管从散焦版本恢复全焦图像具有巨大的潜力，但因为它的空间变化的性质，每个点都有自己的混乱圈直径，具体取决于相应场景点的深度，所以去焦点去模糊仍然是一个具有挑战性的问题。此外，混乱圈的形状随着与光轴的相对位置而变化。为了解决散焦模糊，最直观的方法为两步法，首先估计每个像素的模糊核，然后应用非盲去卷积；然而，这两个步骤都有局限性。首先，基于简单的高斯或磁盘核假设，模糊核的估计经常不准确；其次，即使给出了准确的模糊核，由于吉布斯现象，反卷积也会在边缘引入环形伪影。

最近，研究人员采用端到端的深度神经网络直接从散焦模糊中恢复清晰的图像，这在性能和效率方面大大优于传统的两步法；这些网络都在称为双像素散焦去模糊(DPDD)的数据集上进行训练，该数据集使用不同的光圈大小连续捕获，以获得散焦和全焦图像对；然而，几乎不可能在两张照片中捕捉到具有准确对应关系的散焦和全焦图像对，尤其是对于由于移动物体(例如植物、汽车)和照度变化而导致的户外场景：以DPDD数据集为例，由于该数据集使用不同大小的光圈进行捕获，散焦和全聚焦图像对之间由于两次拍摄而存在未对准的问题，进而会有像素方向的损失。

发明内容

为解决上述技术问题，本发明提供了一种基于多头交叉注意机制的神经网络光场图像去模糊方法，构建通过光场生成的散焦模糊数据集LFDOF和通过二次方法收集的DPDD数据集，从单个光场样本生成大量具有各种自由度和焦距的散焦图像来训练构建的神经光场网络获得具有对应关系的图像对，再使用特征损失对网络进行微调，减轻两个域中存在的散焦模糊之间的差异；采用端到端的深度神经网络直接从散焦模糊中恢复清晰的图像。

本发明所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其步骤为：

步骤1、构建数据集LFDOF、数据集DPDD以及测试集；其中数据集LFDOF作为训练集，数据集DPDD作为辅助网络微调集；

步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；

步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；

步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。