[发明专利]一种基于可辨伪特征合成的广义零样本图像分类方法

说明书

本发明提供了一种基于可辨伪特征合成的广义零样本图像分类方法，包括如下步骤：构建端到端神经网络模型；用可见类图像对模型进行预训练，使得在潜在空间中的同类潜在特征与它们的语义属性之间距离最小，得到可见类的可辨潜在特征；对每个未见类，选取与其符合相似性判定要求的可见类的语义属性构造属性变换矩阵，并用于优化非负合成向量；利用非负合成向量结合被选中的可见类的潜在特征，以及未见类的语义属性，合成未见类的伪特征；对合成的未见类伪特征进行过滤并剔除伪特征中的离群值，得到可辨伪特征；用可辨伪特征与可见类图像训练整个网络。本发明能够同时对可见类别和未见类别的图像进行高精度分类。

技术领域

本发明涉及图像分类与广义零样本学习技术领域，具体涉及一种基于可辨伪特征合成的广义零样本图像分类方法。

背景技术

目前，神经网络在图像分类领域取得了一定的成果，但是需要用大量的图像数据对它进行训练后才能起到准确识别的作用。神经网络对训练样本中没有的未见类的识别是很困难的。零样本学习(ZSL)是未见类图像分类领域流行的研究方法，它构造神经网络模型，用训练集中已有的类别作为可见类，训练神经网络，解决未见类的分类问题，但它在测试阶段仅针对未见类的图像进行分类。对于一个出色的分类模型，需要同时具备可见类和未见类准确识别的功能。广义零样本学习(Generalized ZSL)是同时识别不存在任何样本交集可见类与未见类的常用方法，被越来越多的相关领域人员关注。

广义零样本的核心思想最初来源于零样本的思想，就是设计一个语义嵌入模型和一个适当的优化函数，在训练阶段利用可见类带标注数据集和语义信息来学习知识转移。目前，最常用的语义信息是语义属性。语义属性是用最少量的信息概括某领域内所有类别的全部特点。常用基于广义零样本的图像分类方法具有三大类，分别是基于映射法，基于生成网络法和基于可见类合成法。基于映射法可以构造视觉空间和嵌入空间之间的知识关联。但是在无法准确地获知未见类特征分布情况下，构造出来的模型会引起从原领域(可见类)到目标领域(未见类)的迁移偏差，降低特征可分辨性和分类精度。而且在只有少量样本的可见类学习中效果不理想。

为了模拟不可见类的特征分布构造出伪特征，一些学者提出用语义信息和随机噪声作为先验知识构造未见类的生成网络，再用可见类来训练判别器，引导生成网络准确生成未见类伪特征。然而这种基于生成网络方法单凭语义信息作为先验知识，容易导致生成特征分布与真实特征分布不一致，诱发模式崩溃。

考虑到部分类别语义属性之间存在局部特征的相似性，基于可见类特征嵌入合成方法被陆续的提出。该方法符合人脑从旧事物提取特征来理解新的事物的规律。但现有的基于可见类合成方法中合成特征与真实语义属性之间距离存在较大偏差，合成特征易混入与未见类无关类别的特征，而造成负迁移等问题。

因此，如何提供一种具有高分类精度、可以同时对可见类别和未见类别的图像进行分类的广义零样本图像分类方法，本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于可辨伪特征合成的广义零样本图像分类方法，解决现有方法存在的未见类识别能力差、可见类别与未见类别间的领域漂移以及构成未见类的伪特征与真实特征存在偏差等问题，以提高分类精度。

为了实现上述目的，本发明采用如下技术方案：

一种基于可辨伪特征合成的广义零样本图像分类方法，包括如下步骤：

S1、构建端到端的神经网络模型，神经网络模型包括串行连接的嵌入模块和分类模块，所述嵌入模块接收可见类图像的视觉特征，所述视觉特征由具有固定权重的骨干网络从训练集图像提取得到；

S2：用可见类图像和语义属性对神经网络模型进行预训练，所述可见类图像的视觉特征经嵌入模块处理获得潜在特征，并将其和语义属性一同映射到嵌入模块与分类模块之间的潜在空间中，在潜在空间中计算同类图像潜在特征与各自的属性之间的距离，并使之最小，得到可见类图像的可变潜在特征；