[发明专利]一种基于权值局部切空间排列改进算法的数据降维方法

说明书

技术领域

本发明属于大数据处理领域，涉及一种数据降维方法，具体涉及一种基于权值局部切空间排列改进算法的数据降维方法。

背景技术

大数据时代下，数据挖掘的主要目的是利用高效算法来探索隐藏在数据背后的信息，并最终转化为知识来引导人们做出合理决策。数据降维是将数据从高维特征空间投影到低维特征空间的过程，且在降维的过程中能极大的保留数据的本质结构。降低数据的维度，可以更有利于数据挖掘，且通过数据降维，将高维数据进行低维表示，需要保持其本质结构和信息，同时剔除到数据中的冗余信息、错误信息、缺失信息。从数据的特性出发，降维方法又有线性降维和非线性降维两种方法。为了有效的探索数据集中所含的非线性结构，人们发展了许多有效的非线性降维手段，比如基于局部切空间排列算法的流形学习，使用非线性变换把高维流形数据投影到低维流形空间(假设这些数据采样均匀)。但是采样密度的大小以及采样方式的不同，都会导致降维结果的波动很大。目前的方法中在处理曲率较大和稀疏或分布不均匀的流形数据时，存在降维处理效果差的缺陷。

发明内容

为了解决现有技术中的问题，本发明提出了一种基于权值局部切空间排列改进算法的数据降维方法(简称IWLTSA)，依据局部的线性嵌入，考虑了不均匀的数据对降维效果的影响，将每一个样本点本身用来逼近切空间，替换了其本身邻近点的均值，克服了现有方法在处理曲率较大和稀疏或分布不均匀的数据时降维效果差的缺陷。

为了实现以上目的，本发明所采用的技术方案为：

一种基于权值局部切空间排列改进算法的数据降维方法，包括以下步骤：

1)选取数据采样点的邻近点，将邻近点的最小化投射距离的加权和问题转化为最大化矩阵问题，建立目标函数；

2)求解目标函数，得到每个邻域中降维后的局部切坐标；

3)把每个邻域中计算的局部切坐标排列重构到全局坐标，完成数据降维。

进一步的，所述步骤1)中选取邻近点的时候，将每一个给定的数据采样点本身x_i来逼近切空间，替换数据采样点本身的邻域数据样本点的加权均值，样本点本身作为切空间的原始点，构成的目标函数为：

其中，x_i表示采样点；表示采样点x_i的第j个邻近点；w_ij表示采样点x_i的第j个邻近点的权重向量，j＝1,2,...,k；Q_i表示采样点x_i对应的特征向量；Q_i^T表示Q_i的转置。

进一步的，所述目标函数中Q_i是切空间T_y上的一组正交基底，则有Q_i^TQ_i＝I_n，目标函数简化为：

由于为固定值，则邻近点的最小化投射距离的加权和问题转化为最大化矩阵问题，此时目标函数转化为求解满足下式的Q_i：

进一步的，所述步骤2)中令W_i(j,j)＝w_ij表示点x_i的第j个邻近点的权重值，令则目标函数进一步简化为：

则此时目标函数转化成求解满足下式的Q_i：

求解上述方程，得到为矩阵的最大的k个特征值所对应的特征向量，则根据下式得到降维后的局部切坐标

进一步的，所述步骤3)中计算所有采样点{x₁,...,x_N}的每个邻域中降维后的局部切坐标，得到每个采样点的每个邻域中降维后的局部切坐标集合：

将每个邻域中计算的局部切坐标排列重构到全局坐标，当是x_i的邻域时，假设Y＝[y_i,…,y_N]是X的一组降维后的切空间上的全局坐标，并假设是的全局坐标，低维空间的维度为d，在重构全局坐标时，直接用样本点x₁作为切空间的原点，则此时切空间重构误差函数转化为：

其中，y_i为x_i降维后的点，L_i表示局部排列转换矩阵。