[发明专利]基于多视角超分辨深度网络的合成孔径成像方法

权利要求书

1.一种基于多视角超分辨深度网络的合成孔径成像方法，其特征在于由以下步骤组成：

(1)构建深度网络

深度网络由2个并联的特征提取模块依次与特征时序插值模块、可变形卷积长短期记忆模块、图像重建模块串联构成；

所述的特征提取模块至少包括2个残差块、与残差块个数相同的卷积层、比残差块个数少于1个的采样层连接构成，每1个残差块依次串连，每1个残差块的输出分别通过每1个卷积层与对应的每1个采样层的输入相连，每1个采样层依次串连后与特征时序插值模块的输入相连；最后1个残差块的输出与最后1个卷积层的输入相连，最后1个卷积层的输出与特征时序插值模块的输入相连；

(2)获取数据集

从Vimeo-90k数据集中选取的场景图像分为训练集、测试集，训练集中的图像幅数与测试集的图像幅数比为9：1；

(3)训练网络

用训练集训练深度网络，将训练集中的场景图像输入特征提取模块，通过特征提取模块获得提取特征图，提取特征图输入特征时序插值模块，通过特征时序插值模块插值获得插值特征图，插值特征图与提取特征图输入可变形卷积长短期记忆模块获得卷积特征图，将卷积特征图输入图像重建模块，通过图像重建模块获得重建图像，完成前向传播；设置深度网络的损失函数loss：

式中，U_i表示第i幅真实图像，G_i表示重建后的图像，i∈[1,N]，||·||为一范数，α为常数，α取值为1×10^-5～1×10^-3，采用链式求导法迭代更新深度网络各模块卷积核权重，完成反向传播，使损失函数loss值达到最小，优化深度网络；

(4)采集并重建图像

将相机阵列采集图像输入训练后的深度网络，获得深度网络输出图像F_t，t∈[1,N]；

(5)生成合成孔径图像

将深度网络输出图像F_t按式(2)变换，得到变换后的第t幅仿射图像W_t：

W_t＝H_j·F_t                                              (2)

式中H_j为将输入图像变换到参考视角的第j个最优单映射变换矩阵，j为有限的正整数，将仿射图像W_t按式(3)得到第t幅仿射图像像素平移后的图像P_t：

式中v为单位矩阵，θ^T为零向量的转置，Δp为横向视差d_x和纵向视差d_y构成的二维向量，按式(4)得到合成孔径图像中像素e的像素值Se：

式中P_m(q)为第m幅图像中的像素q对应的像素值，m∈[1,N]，N是视角数量、为有限的正整数。

2.根据权利要求1所述的基于多视角超分辨深度网络的合成孔径成像方法，其特征在于：在(1)构建深度网络步骤中，所述的特征提取模块由4个串连的残差块、4个卷积层、3个采样层连接构成：第一残差块依次与第二残差块、第三残差块、第四残差块串连，第一残差块的输出通过第一卷积层与第一采样层的输入相连，第二残差块的输出通过第二卷积层与第二采样层的输入相连，第三残差块的输出通过第三卷积层与第三采样层的输入相连，第一采样层依次与第二采样层、第三采样层串连后与特征时序插值模块的输入相连；第四残差块的输出与第四卷积层的输入相连，第四卷积层的输出与特征时序插值模块的输入相连。

3.根据权利要求2所述的基于多视角超分辨深度网络的合成孔径成像方法，其特征在于在(1)构建深度网络步骤中，所述的第一残差块为：第一残差卷积层与第二残差卷积层串连，第三残差卷积层的输入与第一残差卷积层的输入相连、输出与第二残差卷积层的输出以及第一卷积层的输入相连，第一残差卷积层和第二残差卷积层的尺寸为3×3，第三残差卷积层的尺寸为1×1；所述的第二残差块、第三残差块、第四残差块的结构与第一残差块的结构相同。