[发明专利]一种用于高维数据分析的维度重要性评估方法

摘要

本发明涉及一种用于高维数据分析的维度重要性评估方法：对于高维数据每一维度利用高斯核密度估计计算每一维度中数据点的密度，并绘制密度曲线；求密度曲线的最大值和局部极小值之间的差值；以所求得的各个差值的均值来作为衡量维度重要性的标准；在计算出每一维度的重要性quality之后，按照其quality值的大小将所有维度进行重排序，quality值越大的排在前面，越小的排在后面，排在前面的维度是比较重要的。本发明达到降维的目的，又可以保留原始数据，提高对于高维数据分析的效率。

主权项

一种用于高维数据分析的维度重要性评估方法，步骤如下：，(1)对于高维数据的某个维度为d＝{x₁,x₂,x₃,...x_n}，利用高斯核密度估计计算每一维度中数据点的密度f(x)，并绘制密度曲线：$f\left(x\right)=\frac{1}{\sqrt{2\mathrm{\π}}\·n\·h}\underset{i=1}{\overset{n}{\Σ}}{e}^{-\frac{1}{2}{\left(\frac{x-x_i}{h}\right)}^2}---\left(1\right)$其中π和e为常数，n为数据集中数据的个数，x是要估计的数据点，x_i是样本数据点，其中i的取值为1～n，h为窗宽，h越小则密度曲线波动较大，h越大则密度曲线越平滑；(2)求密度曲线的最大值和局部极小值之间的差值，差值越大则说明数据集中分布在某个区间内，差值越小则说明数据分布越均匀，每一个区间内数据量都差不多：Difference(d)＝(H₁‑H₂)/H₁   (2)其中Difference(d)代表维度d的密度曲线的最大值和局部极小值的差值，H₁是该密度曲线的最大值，H₂是该密度曲线的局部极小值，当密度曲线较平滑时，局部极小值数目较少，当密度曲线波动较大时，局部极小值数目则较多；(3)以所求得的各个差值的均值来作为衡量维度d重要性的标准，记为quality(d)，quality(d)值越大则说明此维度越重要；(4)在计算出每一维度的重要性quality之后，按照其quality值的大小将所有维度进行重排序，quality值越大的排在前面，越小的排在后面，排在前面的维度是比较重要的，从而可以筛选出比较重要的维度。