[发明专利]一种基于知识辅助的零样本图像分类方法

权利要求书

1.一种基于知识辅助的零样本图像分类方法，利用视觉知识和语义知识激励GCN训练得到更高性能的分类器其特征在于：该方法训练一个GCN网络，该网络输入包含类名称的词嵌入的知识图，输出预测的分类器并利用三个模块，基础模块BF、语义知识辅助模块以及视觉知识辅助模块分别设计一个损失函数提高分类器的分类精度；其中基础模块设计了一个分类器参数损失L_W，即利用预训练好的可见类分类器W_s约束预测的可见类分类器与W_s尽可能相似；视觉知识辅助模块设计了一个分类损失L_C，即利用可见类视觉特征几何中心及其标签促使模型挖掘真实的视觉知识；语义知识辅助模块设计了一个重构损失L_V，即联合预测分类器的GCN构建一个语义自编码器，利用分类器参数重建词嵌入。重构约束保证了关键语义特征在GCN训练过程中不被损害；

分类器预测网络的整体损失函数具体表示如下：

L＝L_W+αL_C+βL_V

其中，α和β为超参数。

2.根据权利要求书1所述的一种基于知识辅助的零样本图像分类方法，其特征在于：本发明将预测分类器的GCN称为E-GCN，包括可见类分类器以及不可见类分类器首先构建一个知识图作为E-GCN的输入，将训练数据集中的每个训练类作为一个节点，节点的具体表示为类名称词嵌入；本发明采用密集图的构建策略，利用WordNet知识图的层次关系，将每个节点与其所有祖先节点和子节点建立连接关系，作为节点之间的边；利用输入的词嵌入经过两层图卷积操作后，得到预测的分类器参数其中，E-GCN第一层网络中知识图的边用到了祖先节点的连接关系，这层网络称为E-GCN_a；第二层用到了子节点的连接关系，这层网络称为E-GCN_d。

3.根据权利要求书1所述的一种基于知识辅助的零样本图像分类方法，其特征在于：所述的基础模块具体工作过程，具体如下：

3.1)首先在预训练阶段，利用可见类数据集训练ResNet-50网络，提取出该网络最后一层的参数作为可见类的分类器参数W_s，ResNet-50网络的其他网络参数作为图像的视觉特征提取器参数F_e，这些参数在零样本图像分类器训练过程中会被固定；

3.2)所述的分类器参数损失函数L_W设计，本发明利用均方损失函数度量E-GCN预测的可见类分类器的误差，具体如下：

其中W_s为可见类的分类器参数，n_s为可见类的类别数量，W_d为分类器参数维度。

4.根据权利要求书3所述的一种基于知识辅助的零样本图像分类方法，其特征在于：所述的视觉知识辅助模块工作过程，具体如下：

4.1)利用权利要求3中预训练的视觉特征提取器F_e提取可见类样本的视觉特征，然后计算每类样本视觉特征的几何中心作为该类的视觉特征，第c类的视觉特征为之后用来预测类视觉特征的标签将所有类的预测标签进行拼接得到预测标签矩阵

4.2)用均方损失函数度量预测标签矩阵的误差，分类损失函数为：

其中，Y是真实标签矩阵。

5.根据权利要求书2所述的一种基于语义知识辅助的零样本图像分类方法，其特征在于：所述的语义知识辅助模块工作过程，具体如下：

5.1)本发明将预测分类器参数的过程看作一个编码过程，即将类别名称经过词嵌入得到的词向量编码成相应的分类器，在AWA2实验中，为了获得更精确的分类器，将E-GCN网络升级为残差网络，即表示为：

其中，G_d和G_a分别表示E-GCN_d和E-GCN_a的输出，G_d[G_a]表示G_a作为E-GCN_d的输入后得到的输出；

5.2)语义知识辅助模块利用要求2中子节点连接关系构建一个知识图，利用一层GCN网络重构类名称词嵌入，本发明将重构网络看作一个解码器，称为D-GCN，D-GCN输入为预测的分类器输出为重构的类名称词嵌入，本发明用余弦相似度度量语义重构损失：

其中v_i表示第i个类的类名称词嵌入，表示重构的第i个类的类名称词嵌入，表示v_i与的余弦相似度计算：

其中，n表示所有类的类别数量。