[发明专利]基于双通道神经网络的遥感图像融合方法

摘要

本发明公开了一种基于双通道神经网络的遥感图像融合方法，利用ARSIS思想，首先通过一个双通道网络联合学习，去提取全色图像高通滤波后的高频分量中的空间细节信息；然后使用细节注入模型将空间细节信息注入到多光谱图像的各个波段图像，得到所需的高分辨率多光谱图像；本发明有效利用深度学习的优点，通过双通道网络联合训练，学习得到全色图像不同于多光谱图像各波段图像的空间细节信息，充分利用图像内部和图像间的相关性，使得细节重构更为准确；同时，使用细节注入模型有效地控制注入细节的数量，显著提高融合算法的空间信息保存性能，并很好地保持原始多光谱图像的光谱特性。

主权项

1.一种基于双通道神经网络的遥感图像融合方法，其特征在于，包括以下步骤：步骤1，获取一对同一场景相同角度的全色图像和多光谱图像作为测试数据集中的一个样本；获取多个场景的多对全色图像和多光谱图像，以得到训练数据集；对于测试数据集中的样本，对样本中多光谱图像进行上采样处理得到上采样多光谱图像；步骤2，对样本中的全色图像进行高通滤波，得到全色图像的高频分量；步骤3，将样本中全色图像的高频分量输入到双通道神经网络中，通过学习得到空间细节信息；所述的双通道神经网络包括一个深层残差网络ResNet和一个浅层卷积网络CNN的集合；步骤4，基于ARSIS融合框架，采用细节注入模型将步骤3得到的空间细节信息注入到步骤1得到的上采样多光谱图像的各波段中，得到融合图像；细节注入模型为：其中，为初步融合图像的第j个波段图像，为上采样多光谱图像X_MS的第j个波段图像，为全色图像中的空间细节信息X_D的第j个波段，为上采样多光谱图像X_MS的第i个波段图像，k为多光谱图像的总波段个数；因此，得到融合图像为：步骤5，采用随机梯度下降算法，利用训练数据集对步骤3的双通道神经网络进行训练，得到融合模型；在随机梯度下降算法训练网络的过程中，不断优化损失函数，直至收敛，损失函数为：其中，为融合图像的第j个波段图像，X^j为与融合图像对应的参考图像的第j个波段图像，k为多光谱图像的总波段个数；步骤6，针对于某场景的待融合全色图像和多光谱图像，通过步骤1所述的上采样、步骤2所述的高通滤波处理后，利用步骤3经过训练后得到的融合模型学习得到空间细节信息，然后通过步骤4的方法得到融合图像。