[发明专利]一种用于实时日志异常内容的监测装置及监测方法

说明书

本发明公开了一种用于实时日志异常内容的监测装置及监测方法，装置包括：参数配置管理模块，告警通知管理模块、日志异常监测管理模块、异常信息内库管理模块和数据存储管理模块；其中，所述参数配置管理模块，用于将其他几个模块相关的所有参数及参数配置进行集中化管理；异常信息内库管理模块，用于根据配置的参数/参数配置管理异常信息的匹配规则和预处理策略；日志异常监测管理模块主要完成日志异常内容的过滤抓取、传输、保存，告警通知管理模块主要进行告警处理；所述数据存储管理模块主要对其他几个模块的操作行为进行记录存储。上述方法具有通用性，适用于各场景类型的日志监测。

技术领域

本发明涉及日志信息处理技术，具体涉及一种用于实时日志异常内容的监测装置及监测方法。

背景技术

当前社会已经处于信息化大数据时代，各种各样的应用服务程序在日夜不停地运行着，其中，为了保证程序的稳定运行，保持其服务的正确性，稳定性，开发人员会将应用服务的运行信息以日志的形式实时持续的记录下来，同时，应用服务程序所依赖的服务器、第三方应用程序，如中间件、数据库、操作系统等，也会产生相关的日志文件，以供维护人员快速定位问题。

目前，绝大部分日志记录的内容涵盖多方面的信息，如：接口调用数据，程序运行情况，异常报错等。现有的基于日志采集的检测方法及系统，大多将日志的全部数据转化为结构化数据在数据库表中进行存储，收集日志数据后基本需要人工进行干涉，从数据库中进行异常内容抓取进行分析，如专利申请号201010536426.0，《一种日志采集装置和日志采集方法》，这种处理方式会造成两方面问题：第一，日志数据的读写较为复杂，造成系统性能较低；第二，这种事后检测方式缺乏时效性，无法满足实时捕抓日志数据中的异常报错内容，处理效率低随着相关系统长时间运行，存储的日志内容越来越庞大，对于日志异常内容的抓取与分析将耗时越长，运维成本提高的同时效率反而降低了，这严重违背当前信息时代的大潮流。

另外，基于实时日志威胁监控的检测方法及系统，目前大多是针对单一类型的日志内容进行检测，无法适配多种日志类型，通用性较差。

发明内容

针对现有技术中的问题，本发明提供一种用于实时日志异常内容的监测装置及监测方法。

第一方面，本发明提供一种用于实时日志异常内容的监测装置，包括：参数配置管理模块，告警通知管理模块、日志异常监测管理模块、异常信息内库管理模块和数据存储管理模块；

其中，所述参数配置管理模块，用于将所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块和所述数据存储管理模块相关的所有参数及参数配置进行集中化管理；

所述异常信息内库管理模块，用于根据所述参数配置管理模块中配置的所述异常信息内库管理模块的参数，管理异常信息的匹配规则和预处理策略；

所述日志异常监测管理模块，用于根据所述参数配置管理模块中配置的所述日志异常监测管理模块的参数，基于所述匹配规则对日志异常内容进行监测；以及对于符合所述预处理策略的异常信息按照预处理策略进行处理；

所述告警通知管理模块，用于采用所述参数配置管理模块中配置的所述告警通知管理模块的参数，对所述日志异常监测管理模块监测的需告警处理的信息进行告警处理；

所述数据存储管理模块，用于根据所述参数配置管理模块中配置的所述数据存储管理模块的参数，将所述参数配置管理模块、所述告警通知管理模块、所述日志异常监测管理模块、所述异常信息内库管理模块在处理中产生的数据转换为结构化数据进行存储。

可选地，所述日志异常监测管理模块和所述告警通知管理模块属于行为模块，这两个行为模块之间的动作都是异步实时运行的；

所述异常信息内库管理模块，所述数据存储管理模块，所述参数配置管理模块属于管理模块。

可选地，所述参数配置管理模块管理的参数包括：