[发明专利]一种基于动态分布函数的数据检测预警方法

说明书

本发明公开一种基于动态分布函数的数据检测预警方法，应用于数据检测、预警技术领域，为了克服传统数据异常检测、预警的不足，本发明引入了基于动态分布函数的数据检测预警技术，该检测预警及时从数据源根本属性出发动态确立数据的分布形式，同时针对抽样数据进行属性值偏离均值的计算结合设定的数据置信阈值，利用极值方案进行数据的分析处理，一般异常数据值都出现在极值处，判断对象属性值和偏离均值最大值的比较进而判断偏离数据值，如果偏离较大则认为是异常属性数据，则将进行数据剔除和检测预警处理，循环进行此筛选整合步骤直到数据检测不等式发生改变。

技术领域

本发明涉及数据检测、预警技术领域，特别涉及一种数据检测预警技术。

背景技术

随着互联网信息技术的不断发展，人们对数据信息的关注度越来越高，数据是自然、社会现象、科学实验等对象事物定量或定性的记录，是研究与分析的重要依据。数据作为分析、决策的基础资源，其质量的好坏关系到以此为依据的正确性、科学性判断。日常业务使用中产生的数据可能出现异常，而往往不易发现，这样我们就需要引进异常数据检测预警技术，及时有效的进行数据信息的异常预警方便管理者及时进行异常情况的处理。异常数据的产生，可能是网络入侵或是系统故障等引起；可能是数据产生机制内在特性引起；也可能是数据录入和传输的错误、测试检测数据方式错误、测量样本不达标、检测环境异常、个别人为的虚报使数据失真、也可能其他人为因素所致。

异常数据的出现会极大程度的降低数据质量，导致统计分析结果出现大的偏差，使总体业务推断、预测工作出现错误，更可能造成宏观决策上的重大失误，带来不可挽回的后果。

传统数据检测预警方法，处理过程一般会假设检测属性数据服从正态分布，同时设定一个概率值，设定恒定的置信阈值，规定凡是超过阈值的误差就被认为不属于随机误差范围，视为异常数据进行异常情况预警，这种数据检测预警方法存在以下不足：

1)现实情况中，业务数据往往并不一定服从正态分布，所以假设数据服从正态分布不够合理，需要进行分布特性的确定，动态确定数据分布形式。

2)设定恒定的置信阈值欠合理，一般小概率的事件在大量数据抽样分析的情况下，发生的概率还是比较大的，因此我们需要根据抽样数据实际情况来设定自适应置信阈值。

发明内容

为解决上述技术问题，本发明提出一种基于动态分布函数的数据检测预警方法，能有效的提高数据的合理性和有效性，为数据信息的挖掘提供了技术保障，使获得的信息或数据更加可靠，为决策提供强有力的数据决策依据。

本发明采用的技术方案为：一种基于动态分布函数的数据检测预警方法，包括：

S1、若干检测数据集合在一起，形成数据样本矩阵，所述数据样本矩阵每一行代表一个数据对象，每一列代表数据对象的某种属性；数据抽样，形成检测数据样本向量；

S2、根据检测数据样本向量所服从的分布形式，计算属性的频率分布，并对参数均值、方差进行估计；

S3、计算属性值得概率分布模型，针对概率分布模型进行特定的(即根据对应分布形式进行对应相似度的计算)相似度计算；

S4、在样本向量中寻找属性值偏离均值最大的数据对象；

S5、若该数据对象为异常数据对象，则从检测数据样本向量中剔除，得到新的检测数据样本向量，然后返回步骤S4；否则结束；

S6、若完成数据样本矩阵中所有数据样本的检测后，得到的异常数据对象占比大于设定阈值，则触发智能预警。

步骤S2所述检测数据样本向量所服从的分布形式采用随机动态假设的方式确定。

步骤S3采用概率分布结构相似性的计算方法，确定属性值的概率分布模型。