[发明专利]采用最小最大概率机的分离概率的有监督线性降维方法

摘要

本发明提出一种采用最小最大概率机的分离概率的有监督线性降维方法，属于计算机机器学习和统计学习技术领域。该方法首先建立采用最小最大概率机的分离概率的有监督线性降维模型，模型的输入为具有多个维度和类别的样本集，输出为投影矩阵；当降维到1维时，属于单一投影向量目标；当降维到多维时，属于多个投影向量目标；本发明使用样本间的分离概率作为类别之间的距离度量，并使用了共轭梯度法进行优化，最终得到保证每一个类别对都尽量具有最大的分离概率的投影矩阵。本发明能够提高数据的可区分度以及后续分类的准确性和效率，在多类降维问题上能够达到很好的应用效果。

主权项

1.一种采用最小最大概率机的分离概率的有监督线性降维方法，其特征在于，该方法包括以下步骤：1)建立采用最小最大概率机的分离概率的有监督线性降维DR‑MPM模型；令模型的输入为样本集样本集中第i个个样本x_i对应的类别标签记为c_i，＝1，2，...，n，样本集的类别总数为K，模型的输出为投影矩阵w_i为构成投影矩阵的第i个投影向量；其中，n为输入的样本集中的样本序号，d为样本原始维数，p为目标维数，p<d，R表示实数集；2)对p的取值进行判定：若p＝1，则为单一投影向量目标，进入步骤3)；若p＞1，则为多个投影向量目标，进入步骤4)；3)单一投影向量目标下的降维方法；具体步骤如下：3‑1)确定单一投影向量目标下DR‑MPM模型的目标函数；当p＝1时，投影矩阵W变为一个投影向量记为w；则DR‑MPM模型为一个无约束的最大化最优问题，模型的目标函数如式(1)所示：其中，式中，为第i类样本的集合，为第k类样本的集合，1≤k≤K，∑_ij为第i类样本和第j类样本的类间离散度，∑_i为第i类样本的类内离散度，为第k类样本的均值；3‑2)对DR‑MPM模型求解；将目标函数式(1)等价为最小化以下目标函数：式(5)所示的目标函数为一个无约束的最小化非凸问题，采用共轭梯度法对式(5)进行优化求解，具体步骤如下：3‑2‑1)设定迭代序号t＝0，允许误差ε＞0，将投影向量w初始化为一个随机的d×1向量w(0)；3‑2‑2)计算目标函数式(5)在w(t)上的导数：其中，则共轭方向计算如下：其中，3‑2‑3)更新投影向量w；w(t+1)＝w(t)+α(t)d(k)    (10)其中，α(t)由线性搜索得到，使得f(w(t)+α(t)d(t)＝minαf(w(t)+αd(t))；3‑2‑4)判定：若达到收敛条件，即||d(t)||＜ε或‖w(t+1)‑w(t)‖＜ε时，则迭代终止，得到DR‑MPM模型的最优解为w*＝w(t+1)，降维完毕；否则，设定t：＝t+1，重新返回至步骤3‑2‑2),继续迭代；4)多个投影向量目标下的降维方法；具体步骤如下：4‑1)确定多个投影向量目标下DR‑MPM模型的目标函数；当p>1时，构成投影矩阵的每一个投影向量的目标函数与式(1)相同；对于该投影矩阵，增加约束：W^TS_tW＝I，即：其中St＝Sw+Sb，且：其中，对于投影矩阵中第一个投影向量，即投影矩阵的第一列，通过重复步骤3)计算单一投影向量目标下模型的最优解进行获取，然后，利用求解得到第一个投影向量，求得下一个新的投影向量；当已经求解前r个投影向量w₁，w₂，...，w_r之后，r<p，第r+1个投影向量w_r+1存在于由矩阵的列向量线性扩张的子空间中，即：其中，Wr＝(w1，w2，…，Wr)因此，存在一个向量vr，满足：wr+1＝Arvr         (14)将式(14)带入到目标函数式(1)中，得到无约束优化问题如式(15)所示：其中，对式(15)求解，得到wr+1；对wr+1进行归一化：则由前r个投影向量求得了第r+1个投影向量；令Wr+1＝(Wr，wr+1)，继续迭代，直至得到所有p个投影向量，则最终求解得到的投影矩阵为：W*＝Wp降维完毕。