[发明专利]一种基于HTM改进的时序异常检测算法

说明书

本发明公开了一种基于HTM改进的时序异常检测算法，包括：时序数据同时进入HTM算法、第一种异常空间范围、第二种异常空间范围以及第三种空间异常判定方法中；如果时序数据的当前值同时超出第一种异常空间范围和第二种异常空间范围，会被判定为异常；如果第三种空间异常判定方法中的异常概率大于阈值，则时序数据的当前值也会被判定为异常。经过HTM算法计算后的异常概率大于阈值，则时序数据的当前值也会被判定为异常。本发明解决HTM算法无法检测出偶发性尖峰突变的异常点。本发明提出了三种空间异常判定方法，配合使用，使得准确率大幅提高。

技术领域

本发明涉及时间序列数据异常检测领域，具体涉及一种基于HTM改进的时序异常检测算法。

背景技术

时序异常检测:现实生活中很多数据都是不断变化的时间序列数据，比如发动机上温度传感器监测到的温度，则是随着时间变化的时序数据，以及家中每分钟消耗的用电量，使用电脑时CPU的使用率等。这些数据中常常包含了异常点，所谓异常点，即系统异常行为且与过去行为明显不同的时间点。不同系统中的异常点往往反馈出不同的重要信息，温度传感器数据突然上升到临界值，表示温度过高，提醒操作人员需要及时对发动机降温，新产品网页上的页面点击率突然上升到异常高，表示需求大，消费者对该新产品有很大的兴趣。当然时序数据的异常检测还有很多用例，包括预防性维护，防欺诈，故障检测和监控等。且在许多行业中都有实际和重要的应用，包括金融、IT、安全、能源等。

算法HTM:对于流式时序数据的异常检测，分层时间记忆算法HTM，在各方面都表现出了很好的效果。大多数异常检测算法，需要事先学习批量时序数据，再做检测，而HTM算法可以实现在线学习不断调整模型，以无监督的方式实时输出决策结果。且HTM算法无需手动调整参数。作者们还在NAB项目中测试了多个异常检测的算法，包括著名的EtsySkyline，Twitter ADVec等，HTM最终取得了最高的准确率。

但在生产实践中，发现HTM算法异常检测的效果仍然达不到要求，其在准确率上仍有很大的提升空间，因此本发明基于HTM算法提出了优化方案，并在实际生产环境中测试，优化后的算法准确率得到了很大的提升，减少了很多误报，并发现了很多原HTM未检测出的异常。

现有技术对于空间异常的判定比较简单，即用（历史最大值-历史最小值）*空间容忍系数（通常是10%）得到空间容忍度。然后用历史最大值+空间容忍度得到空间容忍范围上界，用历史最小值-空间容忍度得到空间容忍范围下界。最后用当前值和空间容忍范围上下界比较，如果当前值大于空间容忍范围上界或当前值小于空间容忍范围下界，则判定为异常。该方法没有考虑到时序数据自身的波动性对于空间异常判定的影响，通常，波动较大的数据，应该有更大的空间异常容忍范围，而对于比较稳定的数据，空间异常容忍范围应该更小。因此，本发明在该基础上添加了变异系数和激活函数，来平衡自身数据波动对空间异常范围的影响。

发明内容

本发明提供了一种基于HTM改进的时序异常检测算法，本发明解决HTM算法无法检测出偶发性尖峰突变的异常点。本发明解决HTM算法对于空间异常的判定过于简单，没有考虑到时序数据本身的波动性对异常判定的影响。本发明解决HTM算法有时误报较多，有时检测不出真正异常等准确率低的问题。

本发明主要提出三种空间异常判定方法。第一、第二种判定方法均使用了滑动历史最大值和滑动历史最小值，应用激活函数和变异系数，得到两个异常空间范围，并根据当前值是否同时超出两个异常空间范围来判定是否异常。第三种判定方法通过使用了滑动历史平均值和滑动历史标准差，对当前时间前10个点的平均值应用互补误差函数和对数，得到异常分，并根据异常分是否大于阈值来判定是否异常。

一种基于HTM改进的时序异常检测算法，包括以下步骤：

1）时序数据同时进入HTM算法、第一种空间异常判定方法产生的第一种异常空间范围、第二种空间异常判定方法产生的第二种异常空间范围以及第三种空间异常判定方法中；

2）如果时序数据的当前值同时超出第一种异常空间范围和第二种异常空间范围，会被判定为异常；