[发明专利]一种基于截断核范数正则化的大规模图像数据多分类方法

说明书

技术领域

本发明涉及计算机视觉和机器学习领域，具体涉及一种基于截断核范数正则化的大规模图像数据多分类方法。

背景技术

近年来，随着微博、微信等社交媒体的流行，互联网上个人图像数目急剧上升，此外，互联网上其他来源的图像数量也在快速增长。分析一张图像的语义信息，并对其进行分类，是图像检索等问题的基础，图像分类问题已经吸引了越来越多的研究兴趣。

传统的图像分类问题解决方法的核心是抽取特征和建立分类器。近年来的研究热点转向大规模图像数据集的分类问题，例如ImageNet和Tiny就是带有标记信息的图像数据集，这些大规模数据集可以用来学习物体图像的分类器。本发明的主要工作在于建立适用于大规模图像数据集合的高效分类算法。

图像多分类问题可以表述如下：设(x₁，y₁)，(x₂，y₂)，…，(x_n，y_n)是n个带有标签的训练图像数据，其中需要将其分为k类。多分类问题的目标是通过学习一个分类器来对一个新来的图像x进行分类预测，这些权重向量w_i构成了一个权重矩阵根据W需要满足的条件提出目标函数和约束条件，然后对其进行优化。

发明内容

本发明的目的是为解决上述不足，提供一种基于截断核范数正则化的大规模图像数据多分类方法。

本发明的目的是通过以下技术方案实现的：

一种基于截断核范数正则化的大规模图像数据多分类方法，具体步骤如下：

1)给出一般的多分类问题的目标函数是

其中W是权重矩阵，φ(W)是损失函数，Ω(W)是正则化惩罚项；正则惩罚项中使用权重矩阵的核范数来表示低秩性限制，采用多项logistic损失函数

损失函数φ(W)可以定义为根据低秩性限制，取Ω(W)＝rank(W)，为了方便优化，通常用矩阵的核范数||W||_*来代替秩函数，即取Ω(W＝||W||_*，其中||W||_*定义为矩阵的奇异值的和；

2)使用截断核范数来代替核范数，利用截断核范数代替核范数能够更有效地反映权重矩阵的低秩性结构，对于给定的0≤r≤min(d，k)，矩阵W的r-截断核范数||W||_r定义为去除W的r个最大的奇异值后，剩下的所有奇异值的和；||W||_*和||W||_r之间存在如下的关系：而且的最优解A＝(u₁，…，u_r)^T和B＝(u₁，…，u_r)^T取自W的SVD分解W＝U∑V^T，其中

3)为了保证目标函数的强凸性以便于优化，提出一个高效的迭代优化算法：将权重矩阵的Frobenius范数作为新的正则项来保证目标函数的强凸性，目标函数为其中λ，μ为控制惩罚程度的正则化参数，提出如下迭代算法来解决该优化问题：

输入：秩参数r和容许的误差参数∈

初始化：W₁

迭代:

第一步：给定W_l，对其进行SVD分解：[U_l，∑_l，V_l]＝SVD(W_l)，

其中

取A_l和B_l分别为

A_l＝(u₁，…，u_r)^T，B_l＝(u₁，…，u_r)^T.

第二步：求解如下问题，将其解作为W_l+1

直至:

||W_l+1-W_l||F≤∈

4)为了求解(1)式，我们构造一组不可数的基向量，用表示秩1矩阵的集合，

采用指标集表示集合，