[发明专利]一种基于对抗式迁移学习的细粒度目标判别方法

权利要求书

1.一种基于对抗式迁移学习的细粒度目标判别方法，其特征在于，所述方法包括：

步骤S1，获取预训练细粒度目标识别模型，将训练图像输入至所述预训练细粒度目标识别模型，得到所述训练图像的视觉属性特征x_I；

步骤S2，将所述训练图像输入预设卷积神经网络得到所述训练图像的图像特征f_CNN，获取视觉解释生成网络模型，并将所述训练图像的图像特征f_CNN输入至所述视觉解释生成网络模型，得到所述训练图像的视觉解释信息；

步骤S3，获取句子特征抽取网络模型，并利用所述句子特征抽取网络模型提取得到所述视觉解释信息的整体属性特征x_s；

步骤S4，利用所述视觉属性特征x_I和视觉解释信息整体属性特征x_s对于所述视觉解释生成网络模型进行优化，得到优化视觉解释生成网络模型；

步骤S5，将测试图像输入至所述优化视觉解释生成网络模型中，得到测试图像分类结果和相应的视觉解释信息；

所述步骤S4中，利用分类损失函数、分布差异损失函数、真假判别损失函数对于所述视觉解释生成网络模型进行优化，所述步骤S4包括：

最大化分布差异损失函数以优化视觉属性特征x_I和视觉解释信息整体属性特征x_s之间的分布差异；

最大化真假判别损失函数以优化视觉解释生成网络中判别器能力；

固定所述分布差异和判别器，最小化分类损失函数以优化所述视觉解释生成网络中的类别分类器能力；

通过最小化第一联合损失函数来优化所述句子特征抽取网络；

通过最小化第二联合损失函数来优化所述视觉解释生成网络，如此迭代直到所述视觉解释生成网络收敛。

2.根据权利要求1所述的方法，其特征在于，所述视觉解释生成网络模型包括循环神经网络，所述循环神经网络包括门限循环单元和多层感知器，所述多层感知器包括全连接层和softmax层。

3.根据权利要求1所述的方法，其特征在于，所述步骤S3中，将所述视觉解释生成网络模型中多层感知器全连接层的输出作为所述视觉解释信息中每个单词的特征，利用所述句子特征抽取网络模型提取得到所述视觉解释信息的整体属性特征。

4.根据权利要求1-3任一所述的方法，其特征在于，所述句子特征抽取网络模型采用卷积神经网络架构。

5.根据权利要求4所述的方法，其特征在于，所述句子特征抽取网络模型包括多尺度多卷积核的卷积层、时间序列池化层、全连接层以及批量正则化层。

6.根据权利要求1所述的方法，其特征在于，所述分布差异损失函数表示为：

L_wd-γL_grad，

其中，N表示每次批量训练的图像样本个数，表示视觉解释生成网络中的特征分布回归器网络函数，表示第n个图像样本的视觉属性特征，表示第n个图像样本的视觉解释信息整体属性特征，代表数据集合中任意与特征点对的连线上的任意随机特征点，表示函数在变量取值为时的梯度，表示函数在输入变量取值为时的输出，γ是超参数。

7.根据权利要求1所述的方法，其特征在于，所述第一联合损失函数表示为：

L_c+L_wd，

其中，N表示每次批量训练的图像样本个数，K为输入数据集的细粒度类别数量，δ(y_i＝＝k)表示y_i表示第i个样本的真实类别，表示第i个样本属于第k类的概率，表示视觉解释生成网络中的特征分布回归器网络函数，表示第n个图像样本的视觉属性特征，表示第n个图像样本的视觉解释信息整体属性特征。

8.根据权利要求1所述的方法，其特征在于，所述第二联合损失函数表示为：

其中，N表示每次批量训练的图像样本个数，K为输入数据集的细粒度类别数量，δ(y_i＝＝k)表示y_i表示第i个样本的真实类别，表示第i个样本属于第k类的概率，表示视觉解释生成网络中的特征分布回归器网络函数，表示第n个图像样本的视觉属性特征，表示第n个图像样本的视觉解释信息整体属性特征，表示视觉解释生成网络生成的语句，表示判别器网络函数。