[发明专利]一种基于对抗式迁移学习的细粒度目标判别方法

说明书

本发明公开了一种基于对抗式迁移学习的细粒度目标判别方法，所述方法包括：获取预训练细粒度目标识别模型，输入训练图像得到视觉属性特征；将训练图像输入预设卷积神经网络得到图像特征，获取视觉解释生成网络模型，输入图像特征得到训练图像的视觉解释信息；获取句子特征抽取网络模型，提取得到视觉解释信息的整体属性特征；利用视觉属性特征和视觉解释信息整体属性特征对视觉解释生成网络模型进行优化；将测试图像输入优化视觉解释生成网络模型，得到分类结果和视觉解释信息。本发明有机地结合了视觉目标细粒度分类识别和视觉解释生成过程，避免了解释模型对语义标签的依赖。

技术领域

本发明属于计算机视觉以及自然语言处理技术领域，具体是一种基于对抗式迁移学习的细粒度目标判别方法。

背景技术

目前，在计算机视觉领域，细粒度深度目标分类算法已取得较大的突破，比如其在鸟类的种类识别方面上取得了较好的效果。然而对于智能系统而言，还不能满足于“黑盒子”方式，即仅仅输出预测结果还不够，不仅要“知其然”，还要“知其所以然”。能够解释视觉系统为什么会产生某个输出结论并获得其对应视觉证据是决策系统的智能化体现。因此，需要一种新型的目标判别方法，在对于目标进行判别的同时，还能够解释预测系统决策的内在原因。

文字语言和图像是人类描述客观世界的两种非常重要的表达方式。2016年美国UCBerkeley的研究人员Lisa等人首次提出了视觉解释的想法和模型，并对视觉描述、视觉定义、视觉解释三个相近概念进行了区分。视觉描述是在没有任何图像内容标签的前提下，由场景中的对象内容引导产生图像内容的一般性描述；视觉定义是根据视觉对象的类别所产生的类别定义语句，该定义语句不要求与当前所见的图像视觉内容有关联，只与图像对象的类别相关；视觉解释是根据系统预测的视觉对象类别，结合视觉图像内容产生具有类别鉴别力的预测解释语句。

在Lisa等人的工作中，他们为了增加语言解释的识别精度，利用到了图像已知的语义标签和全局视觉特征。然而在实际应用中，视觉系统不是总能获得图像内容的标签信息。

发明内容

为了解决上述现有技术中存在的问题，本发明提出一种基于对抗式迁移学习的细粒度目标判别方法，该方法无需对象属性标签信息，可直接根据图片内容产生目标判别结论以及视觉解释信息。

本发明提出的一种基于对抗式迁移学习的细粒度目标判别方法包括：

步骤S1，获取预训练细粒度目标识别模型，将训练图像输入至所述预训练细粒度目标识别模型，得到所述训练图像的视觉属性特征x_I；

步骤S2，将所述训练图像输入预设卷积神经网络得到所述训练图像的图像特征f_CNN，获取视觉解释生成网络模型，并将所述训练图像的图像特征f_CNN输入至所述视觉解释生成网络模型，得到所述训练图像的视觉解释信息；

步骤S3，获取句子特征抽取网络模型，并利用所述句子特征抽取网络模型提取得到所述视觉解释信息的整体属性特征x_s；

步骤S4，利用所述视觉属性特征x_I和视觉解释信息整体属性特征x_s对于所述视觉解释生成网络模型进行优化，得到优化视觉解释生成网络模型；

步骤S5，将测试图像输入至所述优化视觉解释生成网络模型中，得到测试图像分类结果和相应的视觉解释信息。

可选地，所述视觉解释生成网络模型包括循环神经网络，所述循环神经网络包括门限循环单元和多层感知器，所述多层感知器包括全连接层和softmax层。

可选地，所述步骤S3中，将所述视觉解释生成网络模型中多层感知器全连接层的输出作为所述视觉解释信息中每个单词的特征，利用所述句子特征抽取网络模型提取得到所述视觉解释信息的整体属性特征。