[发明专利]基于MIC和MP的数据集异常数据处理方法

说明书

本发明公开了一种基于MIC和MP的数据集异常数据处理方法，包括以下步骤：S1、定义n个归属于不同类别的初始化样本数据集；S2、计算类间散度和类内散度；S3、建立MIC优化目标函数；S4、计算出MIC最佳鉴别向量值；S5、对高维数据集进行降维获得低维特征的数据集；S6、计算出低维数据集的均值和方差，建立单类MP优化目标函数；S7、利用获取的优化值创建判断新检测数据是否为异常数据的函数，并将异常数据和正常数据进行分类存储。本发明的方法采用基于最大间隔准则和最大最小概率机进行异常数据的查询挖掘和处理，克服了传统方法在计算高维数据的时候存在的计算量大、效率低的问题，同时增强了适应性对分类准确率进行了保证，达到了分类效果的最优化。

技术领域

本发明属于数据处理技术领域，特别涉及一种基于MIC和MP的数据集异常数据处理方法。

背景技术

随着互联网行业的不断壮大，各个应用行业数据应用不断丰富。所产生的数据也越来越多，数据分析处理成了热门的话题。然而要做好大数据收集整理和分析需要从大量复杂的数据集中快速找出潜在有用的数据信息，也受到此领域不少专家的广泛关注。

数据集异常数据的处理是数据挖掘分析领域研究的重点，其主要目的是从大量的复杂的数据集中发现异于常规数据的数据个体，该研究在金融欺骗行为检测、软件系统运行异常检测、网络攻击入侵等领域都具有广泛的应用前景。

怎样从一个数据集中挖掘出有用的数据和一些异常数据成为关键，我们可以把不同数据挖掘看作一个数据分类。从业务方面去分析一个数据集中异常数据往往所占的比重较轻与正常数据相比其数量要小很多。介于此情况领域中常见的异常数据挖掘处理方法有基于统计的、基于距离的、基于偏离程度的、基于密度的等等。

然而众多的方法也有他们的不足之处：处理大规模高维度数据集时计算量大、效率低；参数需要提前准确的验证和定义，算法适应性很差；分类是否准确也无法很好的确保，没法达到分类最优化效果。为了有效的避免上述的不足，提高处理效率我们引进了一种基于最大间隔准则(Max Interval Criterion，MIC)和概率机(Minormax Probability，MP)方法即针对数据集的高效数据处理机制，并通过实验证明了该方面可行性和高效性。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于最大间隔准则和最大最小概率机进行异常数据的查询挖掘和处理，克服了传统方法在计算高维数据的时候存在的计算量大、效率低的问题，同时增强了适应性对分类准确率进行了保证，达到了分类效果的最优化的基于MIC和MP的数据集异常数据处理方法。

本发明的目的是通过以下技术方案来实现的：基于MIC和MP的数据集异常数据处理方法，包括以下步骤：

S1、定义n个归属于不同类别C的始化样本数据集X{x₁,x₂,x₃...,x_n}；

S2、根据样本数据计算降维后特征空间中的类间散度和类内散度

S3、建立MIC优化目标函数W_opt，利用类间散度和类内散度得到变化后的计算表达式；

S4、为了规避小样本问题并且保持原始数据形状不发生大的变化，最佳鉴别向量约束为单位向量，进行MIC优化目标函数的转化；

S5、对高维数据集X进行降维，通过变换获得低维特征的数据集Y；

S6、计算出低维数据集Y的均值和方差∑_Y，然后建立和α∈(0,1)的单类MP优化目标函数；

S7、利用获取的优化值创建判断新检测数据d_new是否为异常数据的函数，并将异常数据和正常数据进行分类存储。