[发明专利]云网络多阶段异常检测方法及系统

说明书

本发明公开了一种云网络多阶段异常检测方法及系统，其特征是结合轻量、高召回率的基于动态窗口的时序预测方法和复杂、高准确率的基于云网络拓扑的异常检测方法，分阶段检测云网络设备和实例的异常；首先根据子时序相似度设置提取上、下包络的窗口长度，再使用自适应的时序预测算法对上、下包络进行预测，并基于预测结果对云网络千万量级设备和实例进行轻量、高召回率的异常检测，接着使用基于拓扑的异常检测方法对上一步生成的数据异常进行复杂、高准确率的异常检测，最后可以实现高准确率、高召回率的异常检测，精准发现云网络设备和实例的故障，减少误报对运维人员的干扰，提升运维效率。

技术领域

本发明涉及云网络运维领域，尤其涉及一种针对于云网络具有复杂拓扑关系的千万级海量设备和实例数据的异常检测方法及系统。

背景技术

故障发现对于云网络运维领域是必不可少的，例如日常监控告警、故障影响面分析、故障根因定位等。这些技术需要从千万级设备和实例数据中发现故障，在云网络场景下故障发现技术更值得被高度关注，云网络服务于千千万万的用户，给用户带来的便捷的体验，用户可以自由变配、搭建复杂的拓扑网络。在享受便利的同时，云网络设备和实例存在超大规模、频繁变更、拓扑结构复杂等特点，也给运维人员发现带来了巨大的挑战，人工运维显然是不可行的，自动化、智能化运维势在必行，实现高准确率、高召回率的异常检测非常必要。

云网络为数百万用户提供服务，覆盖多个领域包括游戏、直播、电商，为了保障SLA，云网络需要对千万量级的设备和实例进行监控，发现潜在的故障，云网络场景下的高准确率、高召回率的故障发现首先要面对的挑战就是超大规模的数据，不同于适用于单应用系统的异常检测算法，云网络场景下需要准实时监控千万量级的时序，算法的性能需要足够高，才能满足实时性要求，接着用户在云网络中部署了不同类型的业务，例如游戏应用和金融应用存在显著的差异，这种差异导致流量等指标存在不同的特征，因此异常检测算法需要适配不同类型用户，其次云网络场景下得益于弹性计算的发展，云网络的设备和实例配置时刻处于变化中，因此算法需要有足够的自适应能力，才能应对时序的动态变化，然后算法的成本也是实际应用中的重要因素，这也限制了算法部署方案的选型，需要做到经济适用，接着运维人员资源宝贵，海量告警没有实际意义，需要将有效的异常筛选出来，因为异常检测的准确率需要足够的高，这样才能避免运维人员被告警淹没，无法及时响应处理问题，最后云网络故障一旦对用户造成影响，很有可能带来资损，因此异常检测的召回率需要足够的高，尽量做到不漏故障。

综上所述，在云网络场景下设计一个高准确率、高召回率并可直接部署于生产系统中的异常检测算法存在较大的难度。

发明内容

本发明的目的是针对现有技术的不足，设计一套适用于云网络大规模、复杂拓扑场景的高准确率、高召回率的异常检测方法及系统，供各种网络组件进行运维，包括故障发现、根因定位、影响面分析等。

本发明的目的是通过以下技术方案实现的：

本发明一方面提供一种云网络多阶段异常检测方法，结合轻量、高召回率的基于动态窗口的时序预测方法和复杂、高准确率的基于拓扑的异常检测方法分阶段检测云网络设备和实例的故障，包括以下步骤：

S1：使用基于动态窗口的时序预测方法覆盖云网络千万量级设备和实例进行轻量、高召回率的异常检测，先将设备和实例的时序数据进行归档，主要进行排序、去重、缺失值填充，每一条时序数据是t,v键值对组成的数组，其中t为时间戳，v为采集的设备和实例的流量或丢包数据，接着基于云网络数据周期性特征，计算不同周期子时序间相似度，子时序相似度越高，窗口长度越短，子时序相似度越低，窗口长度越长，再根据窗口长度使用极值算法提取时序的上、下包络；