[发明专利]一种基于SAR图像的图像分类模型训练方法及装置

权利要求书

1.一种基于SAR图像的图像分类模型训练方法，其特征在于，该方法包括如下步骤：

步骤S1:针对同一目标获取多源图像数据，包括SAR、红外、可见光图像数据及图像分类数据；

步骤S2:利用获取的红外、可见光图像构建并训练辅助神经网络，所述辅助神经网络以经过预处理的红外、可见光图像为输入，预测的图像分类结果和红外-可见光特征为输出，其具体步骤如下：

步骤S21：构建辅助神经网络，采用ResNet-50网络结构的主卷积层分别提取红外、可见光单模态特征，使用卷积层融合上述红外、可见光单模态特征获得红外-可见光特征，预测层采用ResNet-50网络结构的预测层，以上述红外-可见光特征为输入预测图像分类结果；

步骤S22：利用获取的红外、可见光图像及图像分类数据训练辅助神经网络；

步骤S23：提取并保存步骤S22中训练好的辅助神经网络的红外-可见光特征；

步骤S3:利用获取的SAR图像、步骤S23中保存的红外-可见光特征，构建并训练目标网络，所述目标网络仅需SAR单模态图像为输入，输出为图像分类结果和对红外-可见光特征的拟合；其具体步骤如下：

步骤S31：采用DenseNet-121网络结构构建目标网络；

步骤S32：利用获取到的SAR图像、图像分类数据和步骤S23保存的红外-可见光特征训练目标网络，网络两个目标输出为图像分类结果和红外-可见光特征，两个目标输出与对应真值的误差构成网络的实际误差，所述损失表示为：

Loss＝loss1+loss2*φ

其中loss1为网络预测的分类结果与真实分类结果间的损失，loss2为网络拟合的红外-可见光特征与红外-可见光特征之间的损失，φ为平衡loss1和loss2的超参数；两个损失共同决定了目标网络的权重更新，由此得到了基于SAR图像的图像分类模型。

2.根据权利要求1所述的一种基于SAR图像的图像分类模型训练方法，其特征在于，所述辅助神经网络的分类精度要求大于等于0.95。

3.根据权利要求1所述一种基于SAR图像的图像分类模型训练方法，其特征在于，所述目标网络损失函数中，loss1、loss2分别使用交叉熵损失函数和均方差损失函数。

4.根据权利要求1所述的一种基于SAR图像的图像分类模型训练方法，其特征在于：所述的目标网络为多任务目标网络。

5.根据权利要求4所述的一种基于SAR图像的图像分类模型训练方法，其特征在于：

所述的多任务目标网络，目标函数为：

s.t.UU^T＝I

其中m为所述目标网络任务数，n_i为训练样本的个数，为任务i的样本j的标签，为损失函数，b＝(b₁，...b_m)^T表示i个任务的偏移补偿，U∈R^d×d包括i个任务的权重参数，d为参数维度，||A||²_2,1为L2正则化阵，aⁱ表示任务的权重参数，I为单位阵，而λ为正则化参数；所示公式(1)的前半部分表示i个任务的所有损失，后半部分利用L2正则化确保了解的行稀疏以及约束阵U的正交化，可将公式(1)化为：

s.t.D≥0,tr(D)≤1

其中为公式(1)中的前半部分，tr(W^TD^-1W)是矩阵的迹，Wⁱ＝Uaⁱ则是任务i的权重参数，D≥0规定了D矩阵是半正定矩阵。

6.一种基于SAR图像的图像分类模型训练方法的训练装置，具体包括：

多源图像获取单元，用于对同一目标获取相同角度的多源图像，包括SAR图像、红外图像和可见光图像，并对图像标注好分类标签得到图像分类数据；

红外-可见光特征获取单元，用于通过辅助神经网络获取红外-可见光特征；

目标网络构建单元，用于以SAR单模态图像为输入，预测的红外-可见光特征和图像分类结果为输出，利用获取到的SAR图像、分类结果数据及由辅助神经网络提取的红外-可见光特征，训练得到基于SAR图像的图像分类模型；

多源图像预处理单元，用于将对应的SAR图像、红外图像和可见光图像处理成大小一致的图片。