[发明专利]细粒度图像零样本识别方法

说明书

本发明公开了一种细粒度图像零样本识别方法，该方法基于语义分解与迁移的零样本图像分类技术，能够充分地挖掘两个域的语义信息的同时产生无偏的语义和视觉表达，达到更好的分类效果，同时，该方法在四个公共细粒度分类数据集上都取得了目前最好的结果。

技术领域

本发明涉及图像分类技术领域，尤其涉及一种细粒度图像零样本识别方法。

背景技术

传统的图像分类技术需要海量的数据支持和精确的人工标注。然而面对各种各样的任务需求，依靠人工标注是很低效的一种做法。

近几年来，零样本图像识别技术得到了广泛的关注，其目的为使模型能够识别从未见过的图像类别。为了实现这一任务，不同类别的无偏语义信息被用来连接源域数据(可见数据)和目标域数据(不可见数据)，来使模型对不同数据域的偏差更为鲁棒。通常的做法为，将图像和语义属性映射到同一个嵌入空间，使对应的图像和语义属性能正确的匹配上。于是分类问题变成了一个最近邻搜索问题，并最终使搜索域涵盖目标域数据，来达到零样本分类。由于在训练阶段中，目标域图像无法获得，因此训练好的模型对两个域的偏差非常敏感，而现有的方法仅仅利用目标域语义信息来得无偏的语义表达或者视觉表达，没有充分的利用好语义信息。

发明内容

本发明的目的是提供一种细粒度图像零样本识别方法，具有较好的分类效果。

本发明的目的是通过以下技术方案实现的：

一种细粒度图像零样本识别方法，包括：

构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；

在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果。

由上述本发明提供的技术方案可以看出，基于语义分解与迁移的零样本图像分类技术，能够充分地挖掘两个域的语义信息的同时产生无偏的语义和视觉表达，达到更好的分类效果，同时，该方法在四个公共细粒度分类数据集上都取得了目前最好的结果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的零样本分类任务中的域偏差示意图；

图2为本发明实施例提供的语义分解与迁移网络的框架图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

本发明实施例提供一种细粒度图像零样本识别方法，包括：

构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；

源域数据集包括：一系列视觉图像、以及对应的语义属性与类别标签，其中视觉图像的类别标签为视觉图像在现实世界的类别，语义属性为一组向量，其编码的内容为图像的属性描述(比如物体的长宽，颜色等)。

在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果(也即对应的类别标签)。

为了便于理解，下面针对上述方法的原理及具体实现过程做详细的介绍。