[发明专利]零样本图像识别方法及其识别装置、介质与计算机终端

权利要求书

1.一种基于原型域对齐与跨模态重建的零样本图像识别方法，其特征在于，具有模型训练阶段和零样本图像识别阶段，所述零样本图像识别方法包括以下步骤：

一、模型训练阶段

（1）所述模型训练阶段采用的训练集中包含图像的类别称为可见类，具有可见类的图像和类别语义属性，所述训练集中没有包含图像的类别称为未见类，具有未见类的类别语义属性；

（2）利用视觉提取器对所述可见类的图像获得视觉特征x，利用原型提取器对所述可见类获得类别视觉原型，利用语义提取器分别对所述可见类的类别语义属性、所述未见类的类别语义属性均获得语义特征s；

（3）将所述视觉特征x和所述可见类的语义特征拼接s，输入到特征分布编码器，获取所述可见类的图像的视觉分布信息，所述视觉分布信息包括均值μ和标准差σ；

（4）计算潜在空间中的低维向量z：

z=σ×ε＋μ

其中，ε表示服从高斯分布的随机向量，设计分布正则化损失，通过模型训练，约束所述低维向量z逼近于高斯分布；

所述特征分布编码器是通过最小化分布正则化损失完成的，所述特征分布编码器的分布正则化损失L_Dis-Reg表示为：

其中，KL(·)表示散度函数，用于度量特征分布编码器获取的分布参数进行重参数化后的低维向量z的分布与高斯分布之间的分布差异； q_φ(z|x, s)表示低维向量z的后验分布，即根据通过特征分布编码器对样本中的视觉特征x和语义特征s编码后得到的分布参数重参数化的z的分布， p_θ(z|s)表示z的先验分布，即高斯分布；

（5）将所述低维向量z和所述可见类的语义特征s拼接，输入到特征生成器，获得生成的视觉特征x'；设计域一致性损失，最小化所述图像生成的视觉特征和对应类别的视觉原型之间的差异，使生成的视觉特征和对应类别的视觉原型尽可能一致；

所述域一致性损失L_MMD设计如下：

其中，表示该类别的视觉原型，φ(·)表示将数据映射到再生希尔伯特空间的核函数，K表示生成的该类别的视觉特征的个数，而表示生成第i个视觉特征；

（6）设计视觉重建损失，最小化所述生成的视觉特征x'与所述视觉特征x之间的差异，使所述生成的视觉特征x'与所述视觉特征x尽可能一致；

所述视觉重建损失的函数L_Visual-Rec为：

其中，M表示数据集中图像的数目，表示第i个图像的视觉特征，表示与该图像的视觉特征对应的生成的视觉特征；

（7）将所述生成的视觉特征x'和所述视觉特征x分别输入到真假判别器，设计对抗损失，通过博弈的方式，增强所述视觉特征生成器的生成能力和所述真假判别器的真假判别能力；

所述特征生成器和所述真假判别器通过对抗的方式进行训练，用于提高视觉特征生成的质量，对抗损失函数L_GAN设计如下：

其中，D(·)表示所述真假判别器的判别函数，其值介于0到1之间，IE[·]表示期望值函数；梯度惩罚项通过执行Lipschitz约束进行实现，λ表示梯度惩罚项的权重；表示所述视觉特征x和生成的视觉特征x'的线性插值，即，其中α是一个随机数值；

（8）将所述生成的视觉特征x'输入到语义解码器，重构与所述生成的视觉特征x'相对应的语义特征s'，设计语义重建损失，最小化所述重构的语义特征s'和相应语义特征s之间的差异，使所述重构的语义特征s '与相应语义特征s尽可能一致；

通过语义解码器，获得视觉特征重构的语义特征s'，并通过所述语义重建损失对模型进行训练，所述语义重建损失L_Semantic-Rec设计如下：

其中，M 表示数据集中图像的数目，s_i表示第i 个图像对应类别的语义特征，s'_i表示第i 个生成的视觉特征通过所述语义解码器后重构的语义特征；

（9）将所述分布正则化损失、所述域一致性损失、所述视觉重建损失、所述对抗损失和所述语义重建损失相加，获得所述视觉特征生成器的模型整体的损失函数，通过梯度反向传播，优化所述特征生成器的模型的参数，获得训练好的特征生成器；

（10）将未见类的语义特征和从高斯分布中采样的随机向量拼接，输入到所述训练好的特征生成器，生成未见类的视觉特征；

（11）将生成的未见类视觉特征输入到分类器，输出预测的类别标签，通过交叉熵损失，使所述分类器输出的类别标签与生成的未见类视觉特征对应的类别标签尽可能一致，训练获得一个未见类的分类器；

通过所述分类器预测所述生成的未见类视觉特征对应的类别标签，所述分类器的分类函数定义如下：

其中，exp(·)表示以e 为底的指数函数；为视觉特征x 在分类器中输出的标签值，表示第y 个类别对应的模型参数向量的转置，表示第j 个类别的模型参数向量的转置，C表示未见类别的个数；

所述分类器通过交叉熵损失进行训练，交叉熵损失L_Cls-CE表示为：

其中，y_i,k 表示第k 个样本是否属于第i 个标签，k=1，2，…，K；i=1，…，N；当第k个样本属于第i个标签时，y_i,k=1，否则，y_i,k=0；p_i,k 表示第k 个样本属于第i 个类别的概率；

二、零样本图像识别阶段

（12）通过所述视觉提取器和训练好的所述未见类的分类器，获得待预测的未见类图像的类别标签；

其中，通过所述视觉提取器，获得未见类图像对应的视觉特征，再输入到训练好的所述未见类的分类器中，获得识别出的类别标签。