[发明专利]一种面向大数据的离群点检测方法

权利要求书

1.一种面向大数据的离群点检测方法，其特征在于，包括如下步骤：

步骤1，设定数据集D包括m行n列数据，每一行为一个数据元组，每一列为一个属性，扫描数据集D的每个数据元组D_j并依次进行编号j，得到新的数据集D1＝(j,D_j)，j＝1,…,m；

步骤2，根据粗糙集中“划分”的定义，扫描数据集D1，并将相同的数据元组划分为一类U/IND(A)＝{C₁,C₂,…,C_t}，其中，U表示论域，A表示所有属性组成的集合，C_k表示第k个分类，k＝1,…,t，t表示所有分类数，相同的数据元组即某个数据元组中各属性对应的属性值与另一个数据元组中相同属性对应的属性值相同，统计每个分类C_k中数据元组的数量，并计算所有属性对论域U的知识熵E(A)；

步骤3，依次选取一个属性A_i，在数据集D1中将属性A_i对应的属性值一列去掉，针对剩余的数据集，将相同的数据元组划分为一类U/IND(A-{A_i})＝{C₁,C₂,…,C_t}，统计每个分类中数据元组的数量，并计算去掉属性A_i后剩余属性对论域U的知识熵E(A-{A_i})，i＝1,…,n，同时计算属性A_i的属性重要性；对所有属性的属性重要性从大到小排序，在数据集D1中选取前p个属性重要性对应的属性，构成新的数据集D2，p<n；

步骤4，扫描数据集D2，对数据集D2中的所有属性值进行组合，并统计各属性值组合在整个数据集D2中的数量；

步骤5，扫描数据集D2，针对数据集D2每个数据元组的属性值进行组合，得到各数据元组对应的属性值组合集合；

步骤6，根据步骤4和步骤5，将各数据元组对应的属性值组合集合中，每个属性值组合在整个数据集D2中的数量，作为各数据元组的特征向量，将各数据元组的特征向量之和作为各数据元组的特征值；

步骤7，对各数据元组的特征值从小到大进行排序，前q个特征值对应的数据元组即为数据集D的离群点，q<m。

2.根据权利要求1所述面向大数据的离群点检测方法，其特征在于，步骤2所述所有属性对论域U的知识熵E(A)计算公式如下：

其中，C_k表示第k个分类，k＝1,…,t，t表示所有分类数，U表示论域。

3.根据权利要求1所述面向大数据的离群点检测方法，其特征在于，步骤3所述属性A_i的属性重要性计算公式如下：

Sig(A_i)＝E(A)-E(A-{A_i})

其中，Sig(A_i)表示属性A_i的属性重要性，E(A)表示所有属性对论域U的知识熵，E(A-{A_i})表示去掉属性A_i后剩余属性对论域U的知识熵。

4.根据权利要求1所述面向大数据的离群点检测方法，其特征在于，所述p、q均为预先设定的正整数。

5.根据权利要求1所述面向大数据的离群点检测方法，其特征在于，所述步骤4、步骤5没有顺序限制。