[发明专利]基于排序学习的多标签零样本分类方法

摘要

本发明涉及面向多媒体内容理解和分析领域的多标签图像分类技术，为构造出新的分类模型，实现基于相关性等级的多标签分类算法设计。本发明采用的技术方案是，基于排序学习的多标签零样本分类方法，步骤如下特征提取阶段利用已有的特征提取器进行不同模态的特征描述，得出训练数据集；多模态特征变换阶段给定训练样本集合对，包含原始图像及其对应标签，且两者间的标注信息确定，以此对模型进行训练；分类标注阶段，给定测试样本的原始图像，以及可能的标签，此时两者对应关系不确定，进行测试。本发明主要应用于多标签图像分类场合。

主权项

一种基于排序学习的多标签零样本分类方法，其特征是，步骤如下：特征提取阶段：利用已有的特征提取器进行不同模态的特征描述，得出训练数据集(xi,yi)∈Rp×Rq，i＝1,…,n，其中xi和yi即为视觉特征和语义特征，n为训练样本个数，多标签学习中，yi不再是单个标签的语义表征，而是样本所对应标签的语义向量间的线性组合；多模态特征变换阶段：采用回归/嵌套法进行特征变换，给定训练数据集(xi,yi)∈Rp×Rq，i＝1,…,n，将xi,yi分别记作X＝[x1,…,xn]∈Rp×n和Y＝[y1,…,yn]∈Rq×n，寻找两组基向量wx∈Rp与wy∈Rq，对于任意训练集中对应关系已知的样本对(x,y)，使得随机向量和在某一特定维度空间中相关性最大，从而得出最佳的公共空间W；测试阶段，给定测试样本X＝[x1,…,xm]∈Rp×m，i＝1,…,m，m为测试样本个数，利用已训练空间进行特征变换，将变换后所得特征向量记作对于测试样本，所有可能对应的类别数为r，则所有可能的标签组合为s＝2r‑1个，记作集合T＝[t1,…,ts]∈{‑1,1}r×s，其中1，‑1表征某一标签在某组合中存在与否，此时各标签组合的语义特征即可通过各标签词向量经线性组合得出，记作Y＝[y1,…,ys]∈Rq×s，约简后所得特征向量记为此时特征变换满足关系：v＝u；其中p,q分别为特征变换前视觉特征、语义特征向量维度；u，v分别为特征变换后的视觉特征、语义特征向量维度；分类标注阶段：采取Learning to rank算法，基于数据对法Pairwise，通过支持向量机SVM来实现最终的多标签标注，具体分类模型又分为两个步骤：排序模型训练和标签预测，排序模型训练阶段，选取多模态特征变换阶段所得数据数据和T，其中两者间对应关系已知，得如下关系：r(y^j)=<w,y^j>+b,j=1,...,s]]>r(yj)表示相关性程度，w和b分别为模型的权重和偏置参数，若特征向量和标签信息tj是已知对应关系，则相关性最大；两者不完全对应，但标签信息非常接近，则相关性次之；标签信息完全不相关，则相关性最小。最终通过两两间的的排序对比得出一个相关性等级排序，基于这一假设，通过最小化某一排序损失函数，训练得出模型参数w和b。标签预测时，以为输入送入已训练的分类模型中，得最终预测标签信息至此多标签标注任务完成。