[发明专利]细粒度图像零样本识别方法

权利要求书

1.一种细粒度图像零样本识别方法，其特征在于，包括：

构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；

在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果；

其中，所述语义分解与迁移网络包括分解语义映射与迁移视觉映射，即分别将语义属性与视觉图像映射到嵌入空间，通过训练使得对应的图像表达和语义表达尽可能一致，不同的图像表达和语义表达尽可能远离；

其中，分解语义映射包括三个子映射函数：域不变的语义映射函数、源域特异的语义映射函数、以及目标域特异的语义映射函数，来同时捕捉源域和目标域语义信息共有的部分和私有的部分；

迁移视觉映射时，对于源域的视觉图像空间进行全监督学习；对于目标域，在合成的目标域图像空间进行标签平滑学习。

2.根据权利要求1所述的一种细粒度图像零样本识别方法，其特征在于，语义分解与迁移网络训练阶段的目标函数表示为：

其中，λ_i表示不同目标函数的权重，其中，i∈[1,5]；表示与源域数据集中视觉图像与语义属性相似度相关的目标函数；表示优化三个分解的子映射函数在两个域映射的目标函数；表示将源域特异的语义映射函数迁移至目标域特异的语义映射函数时的目标函数；表示对源域的视觉图像空间进行全监督学习的目标函数；表示在合成的目标域图像空间进行标签平滑学习的目标函数。

3.根据权利要求2所述的一种细粒度图像零样本识别方法，其特征在于，目标函数的表达式为：

其中，f、对应的表示视觉映射、分解语义映射，χ_s为源域的视觉图像空间，a为视觉图像x对应的语义属性，语义属性为一组向量，其编码的内容为视觉图像的属性描述；d()计算了两个输入表达特征的相似度度量：

其中，||表达向量的模，＜＞表示向量的内积。

4.根据权利要求3所述的一种细粒度图像零样本识别方法，其特征在于，分解语义映射表示为：

其中，A_s、A_t对应的表示源域的语义属性空间、目标域的语义属性空间；对应的表示域不变的语义映射函数、源域特异的语义映射函数、目标域特异的语义映射函数；域不变的语义映射函数负责连接两个域的语义映射函数，使分解语义映射能够在两个域之间做知识迁移，源域特异的语义映射函数与目标域特异的语义映射函数能够捕捉到各自域语义空间的特异信息。

5.根据权利要求4所述的一种细粒度图像零样本识别方法，其特征在于，

使用无监督的方式来限制源域特异的语义映射函数与目标域特异的语义映射函数通过重建误差来分别优化源域特异的语义映射函数与目标域特异的语义映射函数目标函数的表达式为：

其中，对应的表示对源域特异的语义映射函数目标域特异的语义映射函数所对应的解码器。

6.根据权利要求4所述的一种细粒度图像零样本识别方法，其特征在于，目标函数的表达式为：

其中，对应的表示源域特异的语义映射函数目标域特异的语义映射函数的可学习参数。

7.根据权利要求4所述的一种细粒度图像零样本识别方法，其特征在于，采用交叉熵分类目标函数来限制提取的视觉特征具有区分性，该方式为全监督学习的分类约束，其目标函数的表达式为：

其中，源域数据集中还包括类别标签集合Y_s，每一视觉图像对应了一个类别标签，p_y(f(x))为视觉图像x对类别标签y的打分。