[发明专利]一种基于运维数据预测的故障定位可视化系统和方法

说明书

本发明公开了一种基于运维数据预测的故障定位可视化系统和方法。本发明利用现有的日志收集框架，收集网络集群中的机器和应用日志信息，生成运维大数据，再利用人工智能方法来处理运维大数据的，从而可以提前地预测网络故障，并通过可视化的方式展现出来。本发明的有益效果在于：可以高效准确识别故障，同时可以提前预测网络故障，给予运维人员充分的时间来及时进行运维工作，并有效协助提高运维人员的工作效率。

技术领域

本发明涉及一种基于运维数据预测的故障定位可视化系统和方法，涉及计算机网络与智能运维技术领域。

背景技术

随着网络技术的日趋成熟，无线网络的覆盖范围逐渐变大，同时人们身边智能设备也越来越多，因而网络中接入的设备数量也出现了剧增。在此基础上由网络所提供的信息服务的质量是影响用户体验的关键因素，例如，如果网络中有一个门禁认证系统，如果出现故障，则门禁系统的使用者工作效率可能会因此大大降低。基于以上两点，目前的在网络对故障定位的准确性和时效性提出了更高的要求，所以网络的故障侦测与定位目前就成为了一个关键的研究问题。

目前对网络中的故障进行定位和分析的框架有eSight、ELK、Splunk、zabbix等，这些故障定位和分析框架主要实现的功能大同小异。他们首先在终端上部署应用来收集设备上的日志信息，之后再基于日志信息来提取设备的关键信息，通过设定阈值以及进行简单的统计分析方法来定位和分析设备上的故障，提供可视化信息和信息通知机制来辅助运维人员进行运维工作。

尽管目前有如此多的网络故障分析和定位框架，但这些方案在当前环境下也存在许多的缺点和不足。首先是大多数方案在检测异常方面主要依靠阈值法和错误日志信息提取来检测故障和定位，这种方法很难及时发现错误，容易有漏报，在日益壮大的网络环境下其存在的风险越来越大。而且框架的阈值一般有专家指定，随着系统升级频繁更新，重新理解系统设定参数的工作量过大，准确度不高；第二个问题在于接入设备的数量剧增，使得我们的日志信息是数据量过大，即使借助目前的框架进行处理，其涵盖的信息量也过大，难以及时协助运维人员理解目前的网络状态，这样在运维人员无法及时理解机器状态的情况下，很多故障无法及时处理，运维人员陷入了一种等待用户反馈再进行运维的被动式运维状态。

发明内容

针对现有技术的不足，本发明的目的在于提出一种基于运维数据预测的故障定位可视化系统和方法。本发明基于人工智能技术高效准确识别故障，同时可以提前预测网络故障，从而给予运维人员充分的时间来及时进行运维工作，能有效协助提高运维人员的工作效率。

本发明的技术方案具体介绍如下。

一种基于运维数据预测的故障定位可视化系统，其包括数据收集部分、算法预测部分和可视化展示部分；其中：

数据收集部分：收集集群中各台机器的机器和应用日志，统一提取出其中用以监控集群状态的关键性能指标，再利用时间序列提取的方法构建运维大数据；

算法预测部分：利用机器学习和神经网络的方法，基于已经收集到的历史的运维大数据来学习其中的先验经验，从而生成符合实际生产规律要求的人工智能预测模型；再用人工智能模型对实时采集的运维数据进行故障预测；

可视化部分，用于将所有的日志信息和故障预测信息进行展示。

本发明中，数据收集部分包括日志收集模块和性能指标提取模块；其中：

日志收集模块：包括分布式日志收集组件和集中式日志存储组件，收集集群中各台机器的机器和应用日志，完成日志重定向集中化处理的工作；

性能指标提取模块：提取日志中反映机器性能的指标信息，利用时间序列提取的方法构建运维大数据。

本发明中，所述性能指标提取模块中，通过过滤和关键词提取方法提取反映机器性能的指标信息；机器性能的指标信息包括CPU使用率信息、内存使用率信息、磁盘读取带宽信息以及网络流量信息。