[发明专利]基于百科知识语义增强的零样本分类方法、装置

说明书

技术领域

本发明涉及模式识别、机器学习、计算机视觉领域，特别涉及一种基于百科知识语义增强的零样本分类方法、装置。

背景技术

随着深度学习技术的发展和计算机运算能力的飞速提升，人工智能与计算机视觉等领域发展迅猛。作为其中最基本的任务，图像分类方法的性能也得到了极大的提高。图像分类任务要求计算机根据在训练数据集上学习到的先验知识，判别一张图片中物体的类别。传统的图像分类任务需要大量的、带有物体类别标注的训练图片。而收集带标注的训练图片需要耗费大量的时间，并且十分昂贵。零样本图像分类则希望通过在图像分类任务中引入辅助信息，帮助计算机视觉系统摆脱标注数据的桎梏，有能力对训练集中未出现类别的图像进行分类。

在图像分类任务中，模型在训练数据集上训练分类器参数，在测试数据集上测试学习得到的分类器性能。传统分类任务要求测试集图像类别完全包含于训练数据集。这给图像分类模型的实际应用带来诸多限制。首先，训练得到的模型只能在固定的分类空间中对测试图片进行分类，模型完全没有对新出现类别图片的分类能力。其次，要对所有类别收集大量带标签的训练图片，费时费力。在零样本图像分类任务着重希望解决传统图像分类问题存在的上述限制，使模型拥有对训练数据集中未出现类别图片的分类能力。与传统图像分类任务不同的是，零样本分类任务的训练集图像类别和测试集图像类别是完全不同的，测试集中的图像类别不出现在训练集中。通常将训练集中的图片类别称为已知类别(seen class)，测试集中的图片称为未知类别(unseen class)。由于未知类别的图像在训练集中并不出现，因此需要引入辅助信息(side information)来帮助模型学习未知类别的先验知识。通常使用的辅助信息有图像属性特征、文本描述和词向量(word vector)等。自2013年，词向量模型被提出后，这种无监督的特征学习方法为大多数零样本分类方法所采用。相较于属性特征和文本描述，词向量特征不需要特别进行人工标注，可以大规模、无监督地获取。词向量模型在大规模语料库上训练时，需要设定一个学习窗口，这个学习窗口通常较小(5～10)。较小的学习窗口可以使词向量模型高效地学习，但是也使学习得到的向量只能获得较小范围内的语义信息。即学习到的词向量缺少这种图像类别的全局信息，这对后续使用它们作为辅助信息进行零样本分类带来了较大弊端，影响了对未知类别的分类精度。

发明内容

为了解决现有技术中的上述问题，即为了解决现有零样本图像分类方法无法兼顾词向量语言信息范围与处理效率的问题，本发明的一方面，提出了一种基于百科知识语义增强的零样本分类方法，包括以下步骤：

步骤S1，将未知类别图像通过训练好的卷积神经网络分类器进行分类，根据分类概率，对分类结果标签的语义特征进行凸组合作为该未知类别图像的语义特征；

步骤S2，将步骤S1中得到的未知类别图像的语义特征与预先构建的语义特征空间中的语义特征，通过最近邻分类器进行分类，得到所述未知类别图像的最终分类；

其中，

所述训练好的卷积神经网络分类器，为通过已知类别图像的训练数据集进行分类训练后的卷积神经网络分类器；

所述预先构建的语义特征空间，其构建方法为：基于图像类别通过对应的百科词条信息，采用词频-逆文档频率算法提取关键词；基于各图像类别对应的关键词的权重对关键词的词向量进行凸组合，得到各图像类别对应图像的语义特征，各语义特征的集合构成了所述预先构建的语义特征空间；所述图像类别包括已知类别图像的类别标签、未知类别图像的类别标签；

步骤S1中所述分类结果标签的语义特征，为所述预先构建的语义特征空间中对应图像类别对应图像的语义特征。

优选地，所述预先构建的语义特征空间的构建过程中，所述各图像类别对应图像的语义特征，其计算方法为

其中，S(w)为图像类别w的语义特征，i_t为图像类别w的第t个关键词，s(i_t)为关键词i_t的词向量，W_TF-IDF(i_t)为关键词i_t的词频-逆文档频率权重，T为按照关键词的词频-逆文档频率权重降序选取的关键词的个数，为归一化因子。

优选地，步骤S1中未知类别图像的语义特征，其计算方法为