[发明专利]大规模数据的异常检测方法

摘要

本发明涉及大规模数据的异常检测方法，包括A.数据预处理和特征提取；B.基于孪生支持向量机的超平面计算，构造出划分数据空间的超平面标准函数；C.形成隔离树通过孪生支持向量机的超平面的划分标准，建立一棵隔离树；D.形成隔离森林重复步骤C，构建多个隔离树形成隔离森林；E.遍历隔离森林计算异常得分通过待异常检测的数据对隔离森林的遍历，计算出异常得分作为评判异常程度的标准，并根据所述标准判断原始数据中是否存在异常数据。本发明能够有效减少检测的数据量，降低了其计算的工作量，并且在提高异常检测准确率的同时没有显著增加时间消耗，大幅度提高了对高维数据时候的异常检测性能。

主权项

大规模数据的异常检测方法，其特征包括：A.数据预处理和特征提取：对原始数据进行必要的数据预处理，得到预处理后的数据集和样本子集，对预处理过后的数据进行特征提取；B.基于孪生支持向量机的超平面计算，构造出划分数据空间的超平面标准函数，根据所述的超平面标准函数进行超平面选择；C.形成隔离树：通过孪生支持向量机的超平面的划分标准，建立一棵隔离树；D.形成隔离森林：重复执行步骤C，构建多个隔离树形成隔离森林；E.遍历隔离森林计算异常得分：通过待异常检测的数据对隔离森林的遍历，计算出异常得分作为评判异常程度的标准，并根据所述标准判断原始数据中是否存在异常数据。