[发明专利]基于排序学习的多标签零样本分类方法

说明书

技术领域

本发明涉及面向多媒体内容理解和分析领域的多标签图像分类技术，具体讲,涉及基于排序学习的多标签零样本分类方法。

背景技术

随着信息技术的快速发展，图像和视频等多媒体数据大量涌现，成为人们获取信息的重要途径之一。人类对图像信息的认知，是将其所反映的不同类别的目标区分开来并赋予标签。然而，由于事物种类剧增，且种类不断细化，图像与标签信息的不对等，使得传统图像分类技术难以满足实际需求，零样本学习的出现一定程度上解决了标签缺失问题。实际应用中，一幅图像不同的区域往往对应若干类别，如何将区域划归为若干类别中的某一种，即多标签图像分类技术，结合零样本学习，既能满足实际需求，又能解决标签缺失问题。

对于给定观察样本x，可能包含类别数为r个，传统多标签图像分类将其看作r个独立的单标签分类问题，过程冗余且精度低，如何高效精确地实现类别的标注，关键在于有效地利用类与类之间的内在语义联系，对于给定样本x，所有可能的标签组合个数为2^r-1，根据某个准则，利用标签间联系，找到最恰当的一个组合，即为给定样本的标注信息。

目前标签信息的表现形式主要为词向量法，即将某一文本表示为一特定维度向量，其中两个常用的模型为Word2Vec及Glove。因零样本学习是对未见类别的预测，需借助辅助信息，或称为中间语义层特征才能实现。词向量即可作为一种中间语义层特征，另一为属性特征。此外，给定观察样本的视觉表示称之为视觉特征，记作x∈R^D，表示视觉特征向量为D维。直接对样本进行分析处理存在如下两大问题：1)计算复杂度高、维数灾难；2)语义鸿沟，这成为严重制约多媒体内容分析和检索领域的关键问题。为有效缓解这些问题，可对视觉语义信息进行特征变换，其目标是通过对原始数据进行变换而得到有效的低维表示，并保持数据的几何结构。在过去的几十年中，人们提出大量的跨模态映射方法，如经典的典型相关分析(CCA)、线性映射(LR)等，随着深度学习(Deep Learning)的兴起与不断发展，非线性人工神经网络为特征变换算法提供了新思路。

原始视觉/语义特征约简至特定映射空间，该映射空间可能为语义特征空间，也可能为某一特定维度的公共空间，在映射空间中对目标样本进行分类标注。目前常用的分类技术有相似度量法(如欧式距离、余弦相似度量)、softmax分类以及支持向量机(SVM)等。上述技术主要用于常见的单标签分类问题，对于多标签零样本标注的泛化能力不足，样本对应标注结果仅有一个标签，无法满足用户的实际要求。为改善分类的准确性以提高用户满意度，在映射空间中结合可利用的辅助信息来训练新的分类模型，利用新的模型对样本进行重新标注。辅助信息的选取主要基于文本，目标样本x可能对应的所有标签组合个数为2ⁿ-1，所有组合与样本间存在相关性等级信息，大多数情况下，根据与样本的相关性的高低手动或自动地对每个标签组合进行不同等级的标注，如“非常相关”、“相关”、“一般相关”、“不相关”等，排序学习正是基于这种特殊标注的研究领域。

排序学习(LTR，Learning to rank)是一种基于监督学习的排序方法，广泛应用于文本挖掘的诸多领域，如信息检索(IR，Information Retrieval)中排序返回文档，推荐系统中候选产品、用户排序，机器翻译中排序候选翻译结果等。排序模型的训练过程为先选定LTR方法，确定损失函数，以最小化损失函数为目标进行优化即可得模型相关参数。预测过程则将待预测样本输入所得排序模型中，即可得到结果相关得分，利用该得分进行排序即可得到待预测结果的最终顺序。LTR一般来说有三类方法：基于数据点方法(Pointwise)，基于数据对方法(Pairwise)，基于列表方法(Listwise)。Pointwise处理对象是单一数据点，将样本转化为特征向量后，将排序问题转化为机器学习中常规的分类或回归问题；Pairwise是目前比较流行的方法，其主要思想是将排序问题归结为二元分类问题，此时对应实现的机器学习的方法较多，如RankBoost、SVM Rank、RankNet等；相比于前两种方法而言,Listwise方不再将Ranking问题形式化为分类或回归问题，而是直接对排序结果(list)进行优化。

发明内容