[发明专利]数据挖掘过程中基于加权Moore-Penrose逆的马氏距离测定方法

说明书

技术领域

本发明涉及数据挖掘过程技术领域，尤其是一种处理有限相关性数据集的W MP马氏距离测定方法。

背景技术

随着企业或行业的业务数据不断积累，形成了海量数据集。如果单靠人工去整理或理解如此庞大的数据源已存在效率和准确性等问题。因此，越来越多企业正通过数据挖掘技术来解决海量数据的整理和知识发现问题，并为企业决策提供支持。而数据预处理大约占了整个数据挖掘过程60%-70%的工作量，并对数据挖掘的结果起着至关重要的作用。数据预处理中很重要的一步工作便是对原始数据中的缺损数据进行填补。在缺损值补值的过程中，距离测定方法是最重要的技术，如数据相似度判断等；另外，距离测定方法也被用于聚类分析、分类分析等数据挖掘最终过程。在神经网络、模式识别、信号处理、图像处理等领域，距离的测定方法也有广泛应用。

本发明涉及的数据集假设如下：

设X₁,X₂,…,X_m为m个数据个体，其中X_i=(x_i1,x_i2,……,x_in)，i=1,2,…,m，而n为数据个体X_i的属性个数，则数据总体可表示为X=(X₁,X₂,…,X_m)^T，即：

对任意两个数据个体X_i=(x_i1,x_i2,……,x_in)，X_j=(x_j1,x_j2,……,x_jn)， 

1、 欧式(Euclidean)距离

                           (1)

2、 绝对值距离(Manhattan距离)

                                                          (2)

3、 切比雪夫距离(Chebyshev距离)

                                                          (3)

4、明可夫斯基距离(Minkowski距离)

                                                  (4)

通过简单的数学分析可知，(1)、(2)、(3)式都是(4)式中p为某个特殊值的特例或p趋于无穷大时的极限值。虽然它们的计算过程相对简单，但主要存在如下不足：

1) 除欧氏距离(1)式外，其它距离都不具备平移不变性。

2) 它们都极易受到数据量纲的影响，而数据挖掘中的实际数据通常都是有量纲的。

3) 实际应用中常常通过对原始数据的标准化来消除量纲，以方便使用以上距离公式。但数据标准化的过程会导致原始数据的均值及方差这两个重要的统计信息丢失。

4) 它们都未考虑数据之间的相关性。

5、 Camberra距离

          (5)

Camberra距离消除了量纲的影响，但仍不能满足属性之间相关性数据的处理需求，而且只适用于正实数域，更不能完全满足科学研究中大多数领域的实际应用需求。

6、马氏(Mahalanobis)距离

                   (6)

其中S为数据总体X的协方差矩阵。