[发明专利]一种基于SAR图像的图像分类模型训练方法及装置

说明书

本发明提供一种基于SAR图像的图像分类模型训练方法及装置，针对同一目标以相同角度获取多源图像，包括SAR、红外、可见光图像及对应的图像分类数据，通过训练基于红外和可见光图像的辅助神经网络获得的“红外‑可见光特征”，来辅助训练基于SAR图像的图像分类模型，其中，红外、可见光图像仅在训练过程中作为辅助模态，而实际应用中网络的输入为SAR单模态图像。本发明使用多任务学习的方法，提高了基于SAR图像的图像分类的精度，提供了一种解决单模态SAR图像在实际应用中局限性的方法。

技术领域

本发明涉及图像领域和深度学习，特别涉及一种基于SAR图像的图像分类模型训练方法及装置。

背景技术

合成孔径雷达SAR(Synthetic Aperture Radar)是一种主动成像方式，利用了多普勒频移理论和雷达相干原理。SAR穿透作用强，能够有效探测伪装目标，且成像不受光线、气候和云雾限制，故在军事侦察、地理测绘、灾害监测等领域有很高的实际应用价值。但受限于分辨率，基于SAR图像的单模态图像分类网络存在一定的局限性。

红外图像能够将目标与背景做出区分，而且在全天能保持较好的成像效果。而可见光图像具有高空间分辨率并且能够提供更加细腻的纹理细节。融合两种图像的优点，就能结合红外图像中的热辐射信息和可见光图像中的细腻信息。红外和可见图像融合在图像处理上表现优越，双模态图像能获取多方面场景信息，提取丰富目标图像信息。因此，基于红外、可见光模态的多模态融合图像分类网络在图像分类任务中能表现出优越的性能。

卷积神经网络(Convolutional Neural Network，CNN)是一种前馈型的神经网络，由于其网络结构特征，在图像处理特别是大型图像处理方面的性能优越，因此，在图像识别、目标检测等应用中，CNN得到了大规模的使用。CNN在计算量上相较于其他网络结构有明显优势，从而得到了广泛的应用。

红外、可见光图像与SAR图像属于不同的模态，成像机理有很大差异，因此在应用上也各不相同，SAR能提供丰富的目标信息且几乎不受天气影响，但单模态SAR图像在实际应用中受限于分辨率。而利用红外和可见光双模态的融合图像分类网络在分类精度上有更好的表现。因此，以红外、可见光模态为辅助，开发一种基于SAR图像的能以较高精度进行图像分类任务的图像是必然网络，能够在一定程度上提高基于SAR图像的单模态图像分类网络的精度，同时也为基于SAR图像单模态的其他应用提供思路来达到性能的提升。

发明内容

本发明针对现有技术的不足，提供了一种基于SAR图像的图像分类模型训练方法及装置，针对单模态SAR图像在实际应用中的局限性，利用红外-可见光特征作为先验知识对基于SAR图像的单模态图像分类网络进行改良，实际应用中网络只需输入SAR图像，而无需其他模态的参与。本发明使用多任务学习方法，使基于SAR图像的图像分类网络学习到更丰富的图像信息，以提高网络分类精度。

本发明的目的是通过以下技术方案来实现的：

该方法包括如下步骤：

步骤S1:针对同一目标获取多源图像数据，包括SAR、红外、可见光图像数据及图像分类数据；

步骤S2:利用获取的红外、可见光图像构建并训练辅助神经网络，所述辅助神经网络以经过预处理的红外、可见光图像为输入，预测的图像分类结果和红外-可见光特征为输出，其具体步骤如下：

步骤S21：构建辅助神经网络，采用ResNet-50网络结构的主卷积层分别提取红外、可见光单模态特征，使用卷积层融合上述红外、可见光单模态特征获得红外-可见光特征，预测层采用ResNet-50网络结构的预测层，以上述红外-可见光特征为输入预测图像分类结果；

步骤S22：利用获取的红外、可见光图像及图像分类数据训练辅助神经网络；

步骤S23：提取并保存步骤S22中训练好的辅助神经网络的红外-可见光特征；