[发明专利]一种数据异常检测方法及装置

说明书

本发明实施例涉及一种数据异常检测方法及装置。方法包括：获取当前时刻流量的观测值；计算所述观测值和当前时刻流量的预测值所对应的当前时刻的残差；建立时间序列滑动窗口；将所述当前时刻对应的残差按时间序列放入当前时刻所对应的所述时间序列滑动窗口，得到残差序列；对所述残差序列进行处理，得到所述当前时刻对应的流量异常因子；当异常因子超过预设阈值时确定发生流量异常。本发明提出的数据异常检测的方法，结合时间序列滑动窗口以及当前时刻的流量观测值和流量预测值给出当前时刻的异常因子，若异常因子超出设定的阈值，则记录当前时刻的数据采集源异常。本申请只使用少量数据就可以发现数据是否异常，保证了较短的运算时间。

技术领域

本申请涉及计算机领域，更具体的，涉及一种数据异常检测方法及装置。

背景技术

社区安全直接关系到人民群众的生命安全和财产安全，只有降低社区的风险，才能切实维护人民群众的利益，让人民群众过上安居乐业的生活。社区中部署了多种采集风险数据的设备，例如音频像摄像头、温湿度传感器和门禁访客系统，这些设备产生的数据可以作为社区风险数据采集源异常检测的输入数据，根据数据源产生的数据设计相关模型进行社区风险数据采集源异常检测。

迄今为止，众多科研人员已经提出很多的异常点检测相关算法，大致分为如下四类：基于统计模型、基于距离模型、基于密度模型和基于偏离模型。随着人工智能和模式识别的兴起，越来越多新颖的算法被提出，越来越多的应用被落实。基于统计模型的算法要求知道关于数据集合参数的知识，比如数据分布，但是在大多数情况下数据分布是未知的。为了改进基于统计模型算法的缺陷，科研人员引进了基于距离的异常检测算法，这种算法可以不需要预先知道数据的分布模式，也可以很好的适应高维度数据集，但是基于距离的异常点检测算法只能发现全局的异常对象，无法发现局部的异常对象。现有技术采用基于局部密度的离群点检测算法LOF(Local Outlier Factor)， LOF算法基于每个对象和它的k-近邻对象的局部可达密度计算局部异常因子，但是LOF仅仅考虑数据对象的k-近邻值，无法适应于多簇数据分布环境。现有技术还有基于反向k近邻的局部离群度算法INFLO(Influenced Outlierness)，该算法在计算对象的局部异常因子时同时考虑了对象的k-近邻对象和反向k-近邻对象，从而避免了算法对分布在簇边缘的对象的误判。

LOF算法和INFLO算法是无监督算法，不需要大量的有标签数据，但是 LOF的计算方式忽略了数据对象的反向k-近邻，INFLO算法计算复杂度过高。

发明内容

为了解决以上问题，本申请提出一种仅仅需要少量的有标签数据就可以发现大部分的数据的异常，同时保证了较短的运算时间的方法及装置。

第一方面，本申请提供一种数据异常检测方法，包括：

获取当前时刻流量的观测值；

计算所述观测值和当前时刻流量的预测值所对应的当前时刻的残差；

建立时间序列滑动窗口；

将所述当前时刻对应的残差按时间序列放入当前时刻所对应的所述时间序列滑动窗口，得到残差序列；

对所述残差序列进行处理，得到所述当前时刻对应的流量异常因子；

当异常因子超过预设阈值时确定发生流量异常。

优选地，所述对所述残差序列进行处理，得到所述当前时刻对应的流量异常因子包括：

对所述残差序列进行处理，得到变换数据；

将所述变换数据中对应当前时刻的残差标识为对象p，获取所述对象p的局部质心因子，并确定所述局部质心因子是否大于1；

当所述局部质心因子不大于1时，获取所述对象p的反向k-近邻；