[发明专利]一种基于语义属性注意力重分配机制的零样本学习方法及系统

权利要求书

1.一种基于语义属性注意力重分配机制的零样本学习方法，其特征在于，包括：

(1)建立基于语义属性注意力重分配机制的神经网络模型，所述神经网络模型包含视觉-语义属性空间映射分支、视觉-隐层空间映射分支和注意力分支，使图像在进行网络的前向推导时，分别得到图像在语义属性空间的语义特征、在隐层空间的隐层特征以及在语义属性空间的注意力；

(2)使用语义属性空间的注意力重新分配语义特征之间的权重；计算公式为：

其中，diag(p_i)是一个k×k的对角矩阵，对角线上的值为p_i，表示图像i在语义空间的向量表示；

(3)使用带有标签的图像数据集训练神经网络模型；具体过程为：

(3-1)数据准备过程中，将原训练数据集D预先划分为多个三元组组成的集合

其中，对于任一三元组和是来自同一类的不同图像，则是来自与图像不同的类的图像；

(3-2)训练过程中，对于每一个三元组神经网络模型使用混合的损失函数L来训练神经网络，具体的损失函数L的计算公式为：

其中，L_F是定义在隐层空间的损失函数，L_A是定义在语义属性空间的损失函数；

隐层空间损失函数使用三元组损失函数来同时最大化类间距离，最小化类内距离；隐层损失函数的具体计算公式为：

语义属性空间的损失函数使用基于交叉熵损失函数来最大化在语义空间分类的概率；语义损失函数的具体计算公式为：

其中，Y是所有训练类的集合，是已知的类y_i的语义属性原型；

(4)输入待测试图像，计算图像加权后的语义特征与各未知类的语义原型的相似度，计算隐层特征与未知类的隐层特征原型的相似度，将两种相似度相加得到测试图像与各未知类的相似度；

(5)根据与各类之间的相似度进行排序，选取最大相似度的类作为该图像的类预测。

2.根据权利要求1所述的基于语义属性注意力重分配机制的零样本学习方法，其特征在于，步骤(1)中，所述视觉-语义空间映射分支和视觉-隐层空间映射分支使用VGG19骨架网络结构作为共享的浅层网络，分别使用不同的全连接层作不同空间的特征映射；

所述注意力分支对VGG19骨架网络中不同层的特征图使用不同参数的卷积核大小为3的单层卷积神经网络作特征提取，并使用特征融合的方法计算不同层的VGG19特征图对应的语义属性空间的注意力。

3.根据权利要求1所述的基于语义属性注意力重分配机制的零样本学习方法，其特征在于，步骤(1)中，得到图像在语义属性空间的语义特征、在隐层空间的隐层特征以及在语义属性空间的注意力的具体过程如下：

使用预训练的深度卷积神经网络提取图像输入x_i的深层视觉特征θ_i，使用全连接神经网络分别将图像的深层视觉特征映射到语义空间和隐层空间，所述语义空间和隐层空间的计算公式为：

σ_i＝FC₂(θ_i)

其中，表示图像i在语义空间的向量表示，σ_i表示图像i在隐层空间的向量表示，FC₁表示从视觉空间映射到语义空间的映射函数，FC₂表示从视觉空间映射到隐层空间的映射函数；

选取深度卷积神经网络中的第l层的关于图像i的中间特征图表示和隐层空间向量σ_i，图像i在视觉深度为l的语义属性注意力的计算公式为：

其中，W_l和b_l是单层全连接网络的参数，是隐层向量表示和深度为l时的视觉特征融合表示，所述特征融合表示的计算公式为：

其中，F_sq是矩阵的变换函数，将C×H×W大小的三维矩阵表示转换为C×HW的二维矩阵表示，表示矩阵按通道进行求和，是特征图经过一系列卷积的结果，k表示特征融合后的通道数，与语义向量表示和隐层向量表示的长度保持一致；最后选择对不同层数l∈l_B的进行求和，图像i在语义属性空间的注意力的计算公式为:

其中，p_i,l为图像i在视觉深度为l的语义属性注意力。