[发明专利]采用最小最大概率机的分离概率的有监督线性降维方法

权利要求书

1.一种采用最小最大概率机的分离概率的有监督线性降维方法，其特征在于，该方法包括以下步骤：

1)建立采用最小最大概率机的分离概率的有监督线性降维DR-MPM模型；

令模型的输入为样本集样本集中第i个个样本x_i对应的类别标签记为c_i，＝1，2，...，n，样本集的类别总数为K，模型的输出为投影矩阵w_i为构成投影矩阵的第i个投影向量；其中，n为输入的样本集中的样本序号，d为样本原始维数，p为目标维数，p<d，R表示实数集；

2)对p的取值进行判定：若p＝1，则为单一投影向量目标，进入步骤3)；若p＞1，则为多个投影向量目标，进入步骤4)；

3)单一投影向量目标下的降维方法；具体步骤如下：

3-1)确定单一投影向量目标下DR-MPM模型的目标函数；

当p＝1时，投影矩阵W变为一个投影向量记为w；则DR-MPM模型为一个无约束的最大化最优问题，模型的目标函数如式(1)所示：

其中，

式中，为第i类样本的集合，为第k类样本的集合，1≤k≤K，∑_ij为第i类样本和第j类样本的类间离散度，∑_i为第i类样本的类内离散度，为第k类样本的均值；

3-2)对DR-MPM模型求解；

将目标函数式(1)等价为最小化以下目标函数：

式(5)所示的目标函数为一个无约束的最小化非凸问题，采用共轭梯度法对式(5)进行优化求解，具体步骤如下：

3-2-1)设定迭代序号t＝0，允许误差ε＞0，将投影向量w初始化为一个随机的d×1向量w⁽⁰⁾；

3-2-2)计算目标函数式(5)在w^(t)上的导数：

其中，

则共轭方向计算如下：

其中，

3-2-3)更新投影向量w；

w^(t+1)＝w^(t)+α^(t)d^(k) (10)

其中，α^(t)由线性搜索得到，使得f(w^(t)+α^(t)d^(t)＝min_αf(w^(t)+αd^(t))；

3-2-4)判定：若达到收敛条件，即||d^(t)||＜ε或‖w^(t+1)-w^(t)‖＜ε时，则迭代终止，得到DR-MPM模型的最优解为w^*＝w^(t+1)，降维完毕；否则，设定t：＝t+1，重新返回至步骤3-2-2),继续迭代；

4)多个投影向量目标下的降维方法；具体步骤如下：

4-1)确定多个投影向量目标下DR-MPM模型的目标函数；

当p>1时，构成投影矩阵的每一个投影向量的目标函数与式(1)相同；对于该投影矩阵，增加约束：W^TS_tW＝I，即：

其中S_t＝S_w+S_b，且：

其中，对于投影矩阵中第一个投影向量，即投影矩阵的第一列，通过重复步骤3)计算单一投影向量目标下模型的最优解进行获取，然后，利用求解得到第一个投影向量，求得下一个新的投影向量；当已经求解前r个投影向量w₁，w₂，...，w_r之后，r<p，第r+1个投影向量w_r+1存在于由矩阵的列向量线性扩张的子空间中，即：

其中，

W_r＝(w₁，w₂，…，W_r)

因此，存在一个向量v_r，满足：

w_r+1＝A_rv_r (14)

将式(14)带入到目标函数式(1)中，得到无约束优化问题如式(15)所示：

其中，

对式(15)求解，得到w_r+1；

对w_r+1进行归一化：

则由前r个投影向量求得了第r+1个投影向量；

令W_r+1＝(W_r，w_r+1)，继续迭代，直至得到所有p个投影向量，则最终求解得到的投影矩阵为：

W^*＝W_p

降维完毕。