[发明专利]一种健康数据指标的异常检测方法及系统

说明书

本发明提供一种健康数据指标的异常检测方法及系统，包括，步骤S1，采集待检测的各应用、各数据库、硬件及系统的健康数据指标；将所述健康数据指标进行清洗并存储数据库；其中，所述健康数据指标至少包括运行状态数据和运行性能数据；步骤S2，根据用户需求生成对应的数据计算任务，根据所述数据计算任务对存储于数据库中的健康数据指标进行处理，获得实时健康数据指标；步骤S3，将所述实时健康数据指标输入预设的异常检测的学习模型进行训练，生成异常检测模型，通过异常检测模型检测实时健康数据指标，输出异常检测结果。本发明实现数据集成、开发和存储，降低用户的使用门槛，提高用户实现异常检测的效率。

技术领域

本发明涉及IT运维技术领域，特别是涉及一种健康数据指标的异常检测方法及系统。

背景技术

故障处理和操作变更是运维两大主题。在过去，为维护系统稳定，各业务线都投入大量人力进行故障处理工作，除直接人工运维外，各产品线深度定制的运维工具、系统被研发出来。随着业务规模扩张和形态变迁，传统运维模式受到极大挑战：一是无统一的开发管理模式，运维服务开发及维护成本大，运维效率低。二是横向扩展能力差，运维经验难以复用，各产品线存在重复开发的现象。

早期的运维工作大部分是由运维人员手工完成的，这被称为手工运维或人肉运维。这种落后的生产方式，在互联网业务快速扩张、人力成本高企的时代，难以维系。

现代的IT环境已经无比的复杂，而且千变万化，需要花费大量的时间和资源去监控、去诊断问题、去解决问题。很多公司处于被动的地位。但是如果使用了AIOps(Artificial Intelligence for IT Operations，智能运维)就可以利用先进的算法，花更多时间在其他更有意义的工作上，而不是重复地解决相同的问题，或者花时间管理规则和过滤器。而且，传统的IT运维需要管理大量的告警，极大地分散了企业的注意力，需要花很多时间解决无聊的问题，没有时间用于创新。

由此可知，传统运维方式存在以下缺点：传统运维依赖人工维护，其成本高；传统运维方式不具备学习功能，导致运维系统需要依靠人工重复解决相同的问题，效率低下。

发明内容

本发明的目的在于，提出一种健康数据指标的异常检测方法及系统，解决依赖人工维护，其成本高；以及重复解决相同的问题，效率低下的技术问题。

一方面，提供一种健康数据指标的异常检测方法，包括以下步骤：

步骤S1，采集待检测的各应用、各数据库、硬件及系统的健康数据指标；将所述健康数据指标进行清洗并存储数据库；其中，所述健康数据指标至少包括运行状态数据和运行性能数据；

步骤S2，根据用户需求生成对应的数据计算任务，根据所述数据计算任务对存储于数据库中的健康数据指标进行处理，获得实时健康数据指标；

步骤S3，将所述实时健康数据指标输入预设的异常检测的学习模型进行训练，生成异常检测模型，通过异常检测模型检测实时健康数据指标，输出异常检测结果。

优选地，所述步骤S1中，将所述健康数据指标进行清洗，具体包括：

根据每个变量预设的合理阈值范围和各变量之间的对应关系，检查健康数据指标是否符合要求，若健康数据指标中某一变量不符合要求，则对不符合要求的变量进行修复；

其中，当检查到健康数据指标中某一变量存在值缺失时，则关联数据源推导出来对应变量值用于代替缺失的变量；

当检查到健康数据指标中某一变量存在重复记录时，则将相同的重复记录合并为一条记录。

优选地，所述步骤S2中，根据用户需求生成对应的数据计算任务，具体包括：

当用户需求为需要对数据源按照时间发生顺序被计算，且数据需要持续进行计算时，生成实时计算任务；