[发明专利]一种基于零空间LDA的语义空间监督学习的图像分类方法

说明书

技术领域

本发明属于图像分类领域，涉及一种基于零空间LDA的语义空间监督学习的图像分类方法。

背景技术

线性判别分析(LinearDiscriminantAnalysis,LDA)是一个具有代表性的语义空间分类算法，它最早可以追溯到1936年。著名的统计学家费舍尔中提出了Fisher准则。LDA实际上是Fisher准则的推广，它通过寻找数据原始特征表示的语义空间投影来实现分类。具体地，LDA通过将样本的原始表示投影至语义空间，使得所有样本在语义空间的投影满足同类样本间散度最小化而不同类样本间的散度最大化。

LDA算法在人工智能、数据挖掘发展的初期，处理小规模、低维度的数据时表现出高效、稳定的特点。然而，大数据时代的来临使得数据的数量与特征维度都大幅增加。这使得可供算法使用的样本由以下两个局限性。其一，虽然我们能够很轻松的获得大规模的数据，但是数据本身往往缺乏确切的分类，这使得在算法应用的过程当中，可供算法学习的标签信息很少。另一方面，由于采集设备的发展，数据的表示形式越来越复杂，数据的特征表示维度越来越大。比如一张高清图片，以像素形式表征的话，往往呈现出百万甚至千万级的特征维数。而相比之下，此类图片的数目却非常之少。如何利用具有如上特点的数据来实现数据的分类与识别被称为小样本学习问题。传统的算法在小样本学习问题上表现欠佳，因此改进传统算法，使之能够更好的解决小样本是非常深刻的现实意义。

传统的LDA算法不能有效的适应小样本问题。当样本的维数过大时，数据集向量组可能是低秩的，这意味组内散度矩阵S_w是不可逆的。虽然可以使用广义逆来替代，但是效果欠佳。为了更好的适应高维数据分类问题，现有基于零空间的LDA算法。这类算法缩小了语义空间基向量W的搜索范围，从整个空间收缩到了散度矩阵S_w的零空间。LDA本质上是通过寻找正确的语义空间，使得样本在语义空间上的投影能够使得同类样本间的方差最小化，而类与类之间样本的方差最大化。所以，零空间LDA的思想等价于将原始数据投影至S_w的零空间的商空间。如此，相同类别的数据在商空间内归一为一个点。于是，只需要选择适当的基最大化商空间中点的方差即可，即在商空间上使用PCA。

此外，压缩感知理论的发展也给LDA算法注入了新的活力，传统的LDA算法中，判别向量(即语义空间结构向量)没有引入稀疏的限制进去，这使得判别向量之间可能携带了相同的信息，从而影响分类的效果。但是，当遇到高维数少样本的数据时，现有的技术很难很好的解决数据分类与识别问题。

发明内容

有鉴于此，本发明的目的在于提供一种基于零空间LDA的语义空间监督学习的图像分类方法，在语义空间结构的限制下，将正交性与稀疏性融合到LDA算法中，让正交性保证了决策向量之间尽可能的独立，稀疏性保证了每一个决策向量只携带了整个样本训练集的部分信息，从而提升算法在高维度少样本问题上的分类效果。

为达到上述目的，本发明提供如下技术方案：

一种基于零空间LDA的语义空间监督学习的图像分类方法，包括以下步骤：

S1：采集图像数据库Z样本，在数据Z的原始表示上，求出组内散度矩阵S_w、组间散度矩阵S_b，以及全散度矩阵S_t＝S_w+S_b；

S2：对全散度矩阵S_t做特征值分解，将所有样本投影至非零特征值对应的特征子空间U求出新的散度矩阵S'_w＝U^TS_wU、S'_b＝U^TS_bU；

S3：求出新的组内散度矩阵S'_w零空间N(S'_w)中的任意一组基Y；分别为如下参数赋初值：k←0、误差ε≥0、0＜ρ₁＜ρ₂＜1，初始正交矩阵Q⁽⁰⁾为标准正交向量组，其中ρ₁、ρ₂为基于Armijo-Wolfe条件的步长修正参数，k表示迭代次数，ε为给定的终止误差；

S4：根据迭代公式X^(k+1)＝S_μ[YQ^(k)]，求解子问题其中S_μ为软阈值算子,Q^(k)为第k次迭代产生的正交矩阵；