[发明专利]一种基于主动式数据的异常监测方法、设备及介质

说明书

本发明公开了一种基于主动式数据的异常监测方法、设备及介质，主要涉及数据处理技术领域。方法包括：通过用户交互模块，确定进行异常监测的服务器；以根据预设在服务器中的日志格式统一模块，获得服务器中若干原始日志对应的预设日志结构的若干预处理日志；通过日志实体模块，获取预处理日志，并将预处理日志进行结构分离处理，以获得结构化数据和非结构化内容分离的日志实体；通过日志分析模块，获取日志实体，以导入日志实体至训练好的预测神经网络算法，进而确定日志实体对应的原始日志是否为异常日志。本发明通过上述方法实现了主动获取格式统一的日志数据，减轻了执行日志异常分析的服务器的处理数据的压力，提高看异常监测的速率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种基于主动式数据的异常监测方法、设备及介质。

背景技术

在大数据时代，各种互联网业务对服务器的计算力和处理力上都提出更严苛的要求，同时分布式服务器运维管理也在面对更加严峻的挑战。

现阶段，对分布式服务器进行分析处理的主要方法为：实时收集服务器部件运行时产生的日志，进行数据分析及时发现服务器潜在的问题或者故障，预测故障或者分析故障根因，定位故障。

但是，上述方法，需要处理的日志数据体量非常巨大，且不同的服务器对应的日志种类、格式可能各不相同，服务器无法快速获知众多日志数据中的异常日志。

发明内容

针对现有技术的上述不足，本发明提供一种基于主动式数据的异常监测方法、设备及介质，以解决上述技术问题。

第一方面，本发明提供一种基于主动式数据的异常监测方法，包括：通过用户交互模块，确定进行异常监测的服务器；以根据预设在服务器中的日志格式统一模块，获得服务器中若干原始日志对应的预设日志结构的若干预处理日志；通过日志实体模块，获取预处理日志，并将预处理日志进行结构分离处理，以获得结构化数据和非结构化内容分离的日志实体；通过日志分析模块，获取日志实体，以导入日志实体至训练好的预测神经网络算法，进而确定日志实体对应的原始日志是否为异常日志。

进一步地，根据预设在服务器中的日志格式统一模块，获得服务器中若干原始日志对应的预设日志结构的若干预处理日志，具体包括：通过预设在服务器中的日志格式统一模块，采集服务器中的原始日志；通过日志格式统一模块中预存的日志结构模板，将原始日志转换为预处理日志。

进一步地，用户交互模块包含管理单元；通过日志实体模块，获取预处理日志，具体包括：在日志格式统一模块获取到预处理日志后，日志格式统一模块发送预处理日志至管理单元；通过管理单元发送预处理日志至日志实体模块。

进一步地，预处理日志至少包括：日志对应的时间戳、日志级别、日志文本内容、日志生成环节。

进一步地，实体日志至少包括日志头部以及日志主体；日志头部至少包括：日志辨识关键键、生成日志的服务器设备的IP、日志级别、日志生成环节、日志类型、日志事件ID；其中，日志类型默认值为正常类型，日志事件ID的初始值为空；日志主体至少包括：日志头部的ID以及日志文本内容。

进一步地，日志分析模块还包括日志解析算法；在通过训练好的深度学习算法，确定服务器设备是否存在异常日志之前，方法还包括：在日志分析模块获取到日志实体后，通过预设的日志解析算法解析日志实体中的日志文本内容；通过解析后的日志文本内容以及预设ID数据库，为日志实体分配日志事件ID。

进一步地，在通过训练好的深度学习算法，确定服务器设备是否存在异常日志之前，方法还包括：将若干训练日志实体导入预测神经网络算法预设的若干日志窗口中，以获得训练好的预测神经网络算法；训练好的预测神经网络算法用于预测日志实体中的日志事件ID为任一预设事件ID的概率值，并按照概率值从大到小的顺序，将预设数量的预设事件ID组成为预测事件ID集合。