[发明专利]一种基于双向抽样组合的大规模数据异常识别方法

摘要

本发明提供一种基于双向抽样组合的大规模数据异常识别方法，包括以下步骤对样本数据集进行横向抽样，得到子样本数据集；对子样本数据集进行属性抽样，得到条带数据集；对条带数据集进行异常程度打分；重复执行上述步骤；组合异常程度分数，并计算异常程度分数的期望值。本发明通过双向抽样方法，既解决了样本量大时间复杂度高，又解决了维灾难的问题；利用抽样方法将数据集进行切分，提高了本发明方法的扩展性。

主权项

一种基于双向抽样组合的大规模数据异常识别方法，其特征在于：设样本数据集D中样本点数量为n，属性个数为m，所述方法包括以下步骤：步骤1：对样本数据集D进行横向抽样，得到子样本数据集Dr；步骤2：对子样本数据集Dr进行纵向抽样，得到条带数据集Drc；步骤3：对条带数据集Drc进行异常程度打分；步骤4：重复执行上述步骤1‑3；步骤5：组合异常程度分数值，并计算异常程度分数的平均值；所述步骤1中，从样本数据集D的n个样本点中，以横向抽样率λ，按照随机方式抽取nλ个样本点，得到子样本数据集Dr，即可完成对样本数据集D的横向抽样；对样本数据集D进行横向抽样时，横向抽样率λ取0.1；所述步骤2中，从子样本数据集Dr的m个属性中，以纵向抽样率按照随机方式抽取个属性，得到条带数据集Drc，即可完成对子样本数据集Dr的纵向抽样；对子样本数据集Dr进行纵向抽样时，纵向抽样率取0.1；所述步骤2中，经过纵向抽样所得到的条带数据集Drc的样本点数量为nλ，即0.1n，属性个数为即0.1m；所述步骤3中，利用基于密度的异常识别方法对条带数据集Drc进行异常程度打分，打分得到的异常程度分数值按照异常程度降低而递减；基于密度的异常识别方法为基于密度的LOF方法；所述步骤4中，重复执行上述步骤1‑3共t次，满足即t≥100，保证覆盖完整的样本数据集D；所述步骤5中，针对每个样本点，取t次的异常程度分数值，计算其平均值作为该样本点最终的异常程度得分值。