[发明专利]基于线性判别分析与多元自适应样条的数据分类方法

摘要

本发明公开了一种基于线性判别分析与多元自适应样条的数据分类方法，本发明是一种将降维与分类相结合的方法，首先通过线性判别分析方法确定最有效的分类特征，然后通过多元自适应回归样条(Multivariate adaptive regression splines,MARS)实现输入变量区间分割，将非线性分类转为线性分类问题，最后通过感知机实现分类，本发明实现了多输出分段线性分类，通过多元自适应回归样条的方式实现递归分割，通过感知机方式实现线性分类使得训练集的分类误差最小，预测时间在毫秒级以下，该算法有快速准确的特点。

主权项

1.一种基于线性判别分析与多元自适应样条的数据分类方法，其特征在于，包括以下步骤：步骤一：对训练样本集中的待分类的M维向量x_o进行线性判别分析，得到降维后的向量x，设置降维后的维数为d，具体为：步骤1：计算类内散度矩阵S_w：其中，μ_j为第j类样本的均值向量，μ为所有样本的均值向量，k为类别数，X_j为第j类样本集；步骤2：计算类间散度矩阵S_b：其中，N_j(j＝1,2,…,k)为第j类样本的个数；步骤3：计算矩阵S_w^‑1S_b；步骤4：通过矩阵相似对角化计算S_w^‑1S_b的最大的d个特征值和对应的d个特征向量(w₁,w₂,…,w_d)，得到投影矩阵W，W＝[w₁,w₂,…,w_d]，W为M行d列矩阵；步骤5：对训练样本集中的每一个样本特征x_o，转化新的样本x＝W^Tx_o，x即为降成d维的向量；步骤二：把步骤一得到的x表示成多元自适应回归样条基函数B_m(x)的形式，对于x的第m维分量x_m，t_km是第k次直线分段的节点，s_km∈{‑1,1}，[·]₊表示方括号中的向量只取大于0的部分，x_km是第k次线性分段后的x_m，{m,s_km,t_km}为B_m(x)的参数，具体为：步骤1：将每个x值充当节点t_km构成的基函数加入当前基函数参数集basicFunctionList中，basicFunctionList中包括待分割的x的维数dim，节点t_km，对x的basicFunctionList{i}.dim维按照节点值basicFunctionList{i}.t_km划分成两个向量，其中一个向量为大于t_km的元素置零，另一个向量为小于t_km的元素置0，将上述两个向量加入临时基函数向量集basisTmp中，根据当前基函数建立临时分类模型，计算当前模型的误差；步骤2：将误差最小值对应的基函数向量加入到基函数向量集basisSet中；步骤3：根据当前基函数集向量集basisSet建立分类模型；步骤4：如果当前误差小于误差阈值，则退出迭代；basisSet即B_m(x)是用于分类的新的向量，原x由d维变成K_m维，整个B(x)的维数用K_M表示，对x来说，K_m个{m,s_km,t_km}即线性分段模型；步骤三：得到的所有维的基函数B(x)作为分类器的输入变量建立分类模型，通过感知机方法求解分类模型，具体为：步骤1：令z＝B(x)，为z增加一维常数项取值为1，初始化c个K_M+1维向量v为全零矩阵；步骤2：对每一类循环,在第i次循环中，选择另一个类j，按e＝<v_i·z_i>‑<v_j·z_j>对所有i类样本z_i计算概率差值e：在所有z_i中选择e最小且为负值的样本z_m，计算v_i＝v_i+z_m，v_j＝v_j‑z_m当所有<v_i·z_i>＞<v_j·z_j>时，或迭代次数达到限制值时，退出迭代，得到的模型是(K_M+1)×c维矩阵，用V表示；步骤四：对于待分类的测试集M维向量x₁，得到c维实数向量P_n，具体为：步骤1：将测试集中待分类的向量x₁乘以步骤一中得到的投影矩阵W，得到新的样本x₂＝W^Tx₁；取前d维形成降维后的样本x₂；步骤2：根据步骤二中模型参数中{m,s_km,t_km}对x₂中的每一维分量x_m进行分段，形成分段后的向量B(x₂)；步骤3：令z的第一维为全1向量，第二维以后为B(x₂)，得到z'；步骤4：按P_n＝Vz'计算出N个c维实数向量P_n；步骤5：根据每个P_n的最大值得到其类号。