[发明专利]一种基于截断核范数正则化的大规模图像数据多分类方法

权利要求书

1.一种基于截断核范数正则化的大规模图像数据多分类方法，其特征在于：具体步骤如下：

1)给出一般的多分类问题的目标函数是

其中W是权重矩阵，φ(W)是损失函数，Ω(W)是正则化惩罚项；正则惩罚项中使用权重矩阵的核范数来表示低秩性限制，采用多项logistic损失函数

损失函数φ(W)可以定义为根据低秩性限制，取Ω(W)＝rank(W)，为了方便优化，通常用矩阵的核范数||W||_*来代替秩函数，即取Ω(W)＝||W||_*，其中||W||_*定义为矩阵的奇异值的和；

2)使用截断核范数来代替核范数，利用截断核范数代替核范数能够更有效地反映权重矩阵的低秩性结构，对于给定的0≤r≤min(d，k)，矩阵W的r-截断核范数||W||_r定义为去除W的r个最大的奇异值后，剩下的所有奇异值的和；||W||_*和||W||_r之间存在如下的关系：

而且的最优解A＝(u₁，…，u_r)^T和B＝(u₁，…，u_r)^T取自W的SVD分解W＝U∑V^T，其中

3)为了保证目标函数的强凸性以便于优化，提出一个高效的迭代优化算法：将权重矩阵的Frobenius范数作为新的正则项来保证目标函数的强凸性，目标函数为其中λ，μ为控制惩罚程度的正则化参数，提出如下迭代算法来解决该优化问题：

输入：秩参数r和容许的误差参数∈

初始化：W₁

迭代:

第一步：给定W_l，对其进行SVD分解：[U_l，∑_l，V_l]＝SVD(W_l),

其中

取A_l和B_l分别为

A_l＝(u₁，…，u_r)^T，B_l＝(u₁，…，u_r)^T.

第二步：求解如下问题，将其解作为W_l+1

argminWλ(||W||*-Tr(AlWBlT))+μ||W||F2+φ(W)---(1)]]>

直至:

||W_l+1-W_l||_F≤∈

4)为了求解(1)式，我们构造一组不可数的基向量，用表示秩1矩阵的集合，

采用指标集表示集合

对于函数用表示θ,

定义在Θ中定义范数则任意的可以通过中的秩1矩阵线性组合得到

而对于任意的θ∈Θ，映射W_θ＝∑_i∈supp(θ)θ_iM_i决定了能够证明因此能够把优化W的问题转化为优化θ的问题，考虑

ψ(θ)=φ(Wθ)-λTr(AlWθBlT)+μ||Wθ||F2]]>

为了简便，我们限定θ位于Θ的非负象限则3)中的(1)式可以进一步转化为

min_θ∈Θ+G(θ)＝λ||θ||₁+ψ(θ)＝λ∑_i∈supp(θ)|θ_i|+ψ(θ)(2)

能够证明，等式(2)和3)中的(1)式是等价的，即它们的最优解是对应的；

5)采用R1D算法解决等式4)中的(2)，在Θ⁺内沿着降速最快的坐标方向下降，在第i步迭代中，通过选取最小的对应的i来最小化目标函数G(θ)，而因此只需计算的最大奇异向量对，R1D沿着选定的方向做秩1矩阵迭代，直到设定的阈值停止；

设s是当前迭代中θ的支撑集的大小，为了加快收敛速度，R1D通过解决下面的问题在正则基上进行了二阶子空间最小化s.t.θ_j≥0，j＝1，2，…，s.

在具体实现中，不需要每次迭代时都严格地选取最速下降方向，可以容许大小为∈的误差，也能取得较好的收敛结果。