[发明专利]一种数据异常检测方法和装置

说明书

本发明公开了一种数据异常检测方法和装置，该方法包括：S1：获取燃气指标数据，其中，所述燃气指标数据包括购气量、销气量和购销气差率；S2：判断所述燃气指标数据是否服从正态分布，若是，则通过拉依达准则进行计算，以检测所述燃气指标数据是否异常，否则，执行步骤S3；S3：判断所述燃气指标数据是否能够通过多项式拟合判定，若是，则通过多项式拟合法进行计算，以检测所述燃气指标数据是否异常，否则，执行步骤S4；S4：对所述燃气指标数据进行趋势性和周期性判定后，通过自回归积分滑动平均模型进行计算。本发明能够根据常用异常检测和预测算法的适用场景，给出算法的自主选择策略和算法参数自动配置方案，有效的提高了效率。

技术领域

本发明涉及数据分析技术领域，特别涉及一种数据异常检测方法和装置。

背景技术

数据是进行各种统计、计算、科学研究或技术设计等所依据。如，燃气公司每天会产生大量的指标数据，异常数据的存在会对能源领域中的业务管理工作带来一定的危害与损失，进而导致不必要的经济损失。同时依据对数据规律的挖掘，不仅仅发现异常数据，而且可以预测未来一定周期的数据预测值，辅助商业生产行为管理。

大规模多维度数据异常检测和预测场景，数据不但数量众多，而且不同业务指标的曲线也有不同的特征，参数配置和算法选择成本高，人工完成效率低下。

发明内容

本发明实施例提供了一种数据异常检测方法和装置，能够根据常用异常检测和预测算法的适用场景，给出算法的自主选择策略和算法参数自动配置方案，有效的提高了效率。

第一方面，本发明实施例提供了一种数据异常检测方法，该方法包括：

S1：获取燃气指标数据，其中，所述燃气指标数据包括购气量、销气量和购销气差率；

S2：判断所述燃气指标数据是否服从正态分布，若是，则通过拉依达准则进行计算，以检测所述燃气指标数据是否异常，否则，执行步骤S3；

S3：判断所述燃气指标数据是否能够通过多项式拟合判定，若是，则通过多项式拟合法进行计算，以检测所述燃气指标数据是否异常，否则，执行步骤S4；

S4：对所述燃气指标数据进行趋势性和周期性判定后，通过自回归积分滑动平均模型进行计算，以检测所述燃气指标数据是否异常。

优选地，步骤S1的具体过程包括：

输入的燃气指标数据通过安德森—达林Anderson-Darling检验出错的概率是否大于预设置信水平，若是，则通过拉依达准则进行计算，以检测所述燃气指标数据是否异常。

优选地，步骤S3的具体过程包括：

S31：运用判定系数和回归标准差对所述燃气指标数据进行多项式拟合；

S32：判断拟合程度是否达到预设期望阈值且拟合多项式阶数达到预设阶数要求，若是，则通过多项式拟合法进行计算，以检测所述燃气指标数据是否异常。

优选地，所述多项式拟合用到的表达式为：

y＝a_ntⁿ+a_n-1t^n-1+...+a₁t+a₀+ε

其中，t为时间；a_i为拟合系数，i＝0，1，2，3，…，n；y为t时刻对应的燃气指标数据；ε为残差，ε～N(0，σ²)。

优选地，在步骤S4之后，该方法还包括：

S5：各个算法对异常数据检测过程中，进行参数训练，动态调整各个算法的参数。