[发明专利]一种运维系统及方法

说明书

本发明实施例提供了一种运维系统及方法，该系统包括相互连接的数据采集模块、数据存储模块、异常及故障标注模块、模型自动训练及评估模块、运维管理及任务执行模块、结果审核模块。如此，能够在满足基本运维需求的同时，可以实现异常及故障自动发现、故障快速定位、故障提前预警等运维功能，而且保证整个运维系统能够实现自适应更新、自我提升、逐步进化，显著提升运维的效率。

技术领域

本发明实施例涉及但不限于一种运维系统及方法。

背景技术

目前随着云计算、大数据技术的成熟，各个行业在实际应用过程中积累了各种各样的海量数据，除了应用系统自身的必要数据之外，还有与之相关的底层存储介质、网络传输、操作系统、数据库及文件系统、管理系统等的日志数据，这些数据记录了系统正常操作、异常操作、故障出现之前及故障出现之后系统的变化及关联组件的连锁反应等等，是运维人员进行异常发现、故障定界、根因分析以及故障预测的依据。但是面对每时每刻不断增长的、组件之间交错复杂的、日志记录形式种类多样的运维数据，过去那种依赖人力逐步排查、脚本辅助定位、日志检索、简单统计分析、阈值监控等已经无法满足当前运维对时效性、功能性的基本需求了。

目前运维领域的方法有以下几类：一是人工经验，运维工程师通过检索、查看日志的日志级别（如debug、warning、error、info、fatal）或者错误码（如400、ORA-01500等特定码），结合丰富的运维经验快速锁定故障所在的位置；这种运维方式在成熟稳定的小型企业中比较有效，对于目前大型的、复杂的、新软件不断叠加的集群中，由于日志数据量巨大、日志类型多种多样、运维需求高效有效的情况下就显得力不从心了。二是日志分析工具，这种工具最早以分析用户的操作日志为主，在了解用户的操作习惯、行为爱好的基础上进行系统优化、精准营销等等，后来应用进一步扩展到运维上，但是这些工具的主要功能是对日志进行统一收集、解析、存储之后提供日志检索、简单的统计分析及可视化展示（如用户的访问量UV、页面的访问量PV等等），这些工具随着云计算及大数据的发展对底层架构也进行了更新，可以满足复杂多样的、海量的日志的快速检索、简单统计分析、实时监控等需求，但是对于运维领域中的异常自动发现、故障快速定位、故障提前预警等高级运维需求没法满足。

而如何在云计算、大数据的基础上，利用人工智能技术实现运维的智能化，当前及后续较长一段时间内各中大型企业积极探索的内容。

发明内容

有鉴于此，本发明实施例提供了一种运维系统，包括：相互连接的数据采集模块、数据存储模块、异常及故障标注模块、模型自动训练及评估模块、运维管理及任务执行模块、结果审核模块；其中，数据采集模块，用于采集所述运维系统所需要的各种日志源数据并存储在数据存储模块；数据存储模块，用于对所述日志源数据、运维结果、标注结果、模型及知识库进行存储；异常及故障标注模块，用于持续地对数据存储模块中的部分源数据进行异常及故障标注，并将标注结果存储到数据存储模块；模型自动训练及评估模块，用于持续地生成及更新各种运维模型及知识库，并存储到数据存储模块；运维管理及任务执行模块，用于对运维任务设置与执行、运维模型及知识库调用、运维结果存储及输出；结果审核模块，用于对运维管理及任务执行模块输出的异常及故障进行审核，并将审核确认的异常及故障输出到异常及故障标注模块。

本发明实施例还提供了一种运维方法，包括：数据采集模块采集运维系统所需要的各种日志源数据并存储在数据存储模块；数据存储模块对所述日志源数据、运维结果、标注结果、模型及知识库进行存储；异常及故障标注模块持续地对数据存储模块中的部分源数据进行异常及故障标注，并将标注结果存储到数据存储模块模型自动训练及评估模块持续地生成及更新各种运维模型及知识库，并存储到数据存储模块；运维管理及任务执行模块对运维任务的设置与执行、运维模型及知识库的调用、运维结果的存储及输出；结果审核模块对运维管理及任务执行模块输出的异常及故障进行审核，并将审核确认的异常及故障输出到异常及故障标注模块。