[发明专利]一种基于可辨伪特征合成的广义零样本图像分类方法

权利要求书

1.一种基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，包括如下步骤：

S1、构建端到端的神经网络模型，神经网络模型包括串行连接的嵌入模块和分类模块，所述嵌入模块接收可见类图像的视觉特征，所述视觉特征由具有固定权重的骨干网络从训练集图像提取得到；

S2：用可见类图像和语义属性对神经网络模型进行预训练，所述可见类图像的视觉特征经嵌入模块处理获得潜在特征，并将其和语义属性一同映射到嵌入模块与分类模块之间的潜在空间中，在潜在空间中计算同类潜在特征与各自的语义属性之间的距离，并使之最小，得到可见类图像的可辨潜在特征；

S3：对每个未见类，构造一个非负合成向量，再利用与未见类符合相似性判定要求的可见类语义属性构成属性变换矩阵，并用所述属性变换矩阵对所述非负合成向量进行优化，使其满足经过属性变换矩阵映射到未见类语义属性的距离最小；

S4：从与未见类符合相似性判定要求的每个可见类中随机抽取一个潜在特征构成嵌入变换矩阵，采用嵌入变换矩阵对非负合成向量进行变换得到特征嵌入项，并将特征嵌入项与自身语义属性项进行加权求和，得到未见类伪特征；

S5：对未见类伪特征进行筛查，利用预训练的神经网络模型中的分类模块剔除未见类伪特征中的离群值，得到可辨伪特征；

S6：用可辨伪特征作为未见类的训练样本和训练集图像作为可见类的训练样本，完成神经网络模型的最终训练。

2.根据权利要求1所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，所述S2中，在每次神经网络模型的迭代中，为每个可见类抽取L个图像建立每个可见类的支持集，以及在可见类中抽取M个图像建立一个查询集，用支持集中所有图像潜在特征的平均作为自身原型，并建立每个可见类中潜在特征与自身原型之间的距离最小约束，以及自身原型与自身语义属性之间的距离最小约束，以得到可见类的可辨潜在特征。

3.根据权利要求2所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，在潜在空间中，分别计算查询集中每个图像的潜在特征与自身原型之间的距离，以及同类图像中的原型与语义属性之间的距离，用这两个距离之和构建二阶段的最小距离函数，结合交叉熵损失函数构成总损失函数；每次迭代更新过程利用梯度下降算法来最小化损失函数，然后利用反向传播操作来更新嵌入模块和分类模块的权重参数，完成神经网络模型的预训练。

4.根据权利要求1所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，所述S3中构成属性变换矩阵的具体步骤包括：

计算每个未见类语义属性与所有可见类语义属性的余弦距离；

对每一个未见类，寻找余弦距离最小的可见类的语义属性，构成属性变换矩阵。

5.根据权利要求1所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，所述S3中，用属性变换矩阵对每一个未见类所构成的非负合成向量进行局部卡罗需-库恩-塔克条件下非线性优化，直至每个非负合成向量收敛。

6.根据权利要求1所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，所述S4中，对每一个未见类，用与未见类符合相似性判定要求的每个可见类的潜在特征，取代属性变换矩阵中与之对应的语义属性构成嵌入变换矩阵，将优化后的非负合成向量通过嵌入变换矩阵映射，得到反映未见类特点的特征嵌入项。

7.根据权利要求1所述的基于可辨伪特征合成的广义零样本图像分类方法，其特征在于，所述S5中，如果未见类伪特征在所有可见类中的分类概率最大值超过设定阈值，则作为未见类伪特征中的离群值被剔除。