[发明专利]基于多视角超分辨深度网络的合成孔径成像方法

说明书

一种基于基于多视角超分辨深度网络的合成孔径成像方法，由构建深度网络、获取数据集、训练网络、采集并重建图像、生成合成孔径图像步骤组成，本发明采用特征提取模块进行特征提取；采用特征时序插值模块，根据提取特征图获得插值特征图；采用可变形卷积长短期记忆模块，根据插值特征图获得卷积特征图；采用图像重建模块，根据卷积特征图获取重建后的图像，将Vimeo‑90k数据集划分为训练集和测试集，训练集通过最小化损失函数训练深度网络，将相机阵列采集的图像输入训练后的深度网络，获得深度网络输出图像并合成，提高了合成图像的质量。具有图像处理时间短、运算速度快、结构相似性以及峰值信噪比高、合成的图像质量好等优点，可用于合成孔径成像。

技术领域

本发明属于图像处理技术领域，具体涉及到多视角超分辨深度网络的合成孔径成像方法。

背景技术

合成孔径成像技术使用相机阵列来模拟大型虚拟凸透镜，充分利用相机的多视角信息来获得可以聚焦于图像不同深度的能力。目前在许多研究中使用单相机自标定方法，应用在合成孔径成像中，可以处理明显遮挡。目前的研究中还使用一种基于视差的相机阵列标定方法，同样应用于合成孔径成像中，可以处理明显遮挡。然而使用现有合成孔径成像技术获取的图像质量仍然有待提升，并且在现实情况中无法依靠单一地增加相机数量或性能来提升最终的合成孔径成像质量。另外在现有的超分辨方法中缺少对多尺度特征的关注，不利于对具有多尺度特征的图像进行超分辨处理。

在图像处理技术领域，当前需迫切解决的一个技术问题是对深度网络的合成孔径成像提供一种成像质量好的方法。

发明内容

本发明所要解决的技术问题在于克服上述技术的不足，提供一种合成速度快、图像处理时间短、结构相似性以及峰值信噪比高、合成孔径成像质量好的基于多视角超分辨深度网络的合成孔径成像方法。

解决上述技术问题所采用的技术方案是由以下步骤组成：

(1)构建深度网络

深度网络由2个并联的特征提取模块依次与特征时序插值模块、可变形卷积长短期记忆模块、图像重建模块串联构成。

(2)获取数据集

从Vimeo-90k数据集中选取的场景图像分为训练集、测试集，训练集中的图像幅数与测试集的图像幅数比为9：1。

(3)训练网络

用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：

式中，U_i表示第i幅真实图像，G_i表示重建后的图像，i∈[1,N]，||·||为一范数，α为常数，α取值为1×10^-5～1×10^-3，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络。

(4)采集并重建图像

将相机阵列采集图像输入训练后的深度网络，获得深度网络输出图像F_t，t∈[1，N]。

(5)生成合成孔径图像

将深度网络输出图像F_t按式(2)变换，得到变换后的第t幅仿射图像W_t：

W_t＝H_t·F_t                                             (2)