[发明专利]一种基于数据实时推送的日志监控系统

说明书

技术领域

本发明涉及计算机应用技术领域，特别是涉及一种基于数据实时推送的日志监控系统。

背景技术

随着计算机技术和互联网技术的快速发展，数据中心对服务器设备数量的需求逐渐增大，大量的网络业务涉及的应用也越来越多。服务器设备在运行过程中，可以生成日志数据，如系统日志数据和应用日志数据。通过对日志数据进行监控和分析，可以获得整个数据中心的服务器设备的运行状态，以便发现问题及时解决。对服务器设备日志的有效监控是对数据中心服务器设备正常运行的重要保障。

在现有技术中，多是通过监控服务器以轮询方式获取各监控对象，即服务器设备的日志数据。

在针对数量较少的监控对象时，使用这种轮询方式可以较快获得各监控对象的日志数据，但是，如果监控对象数量较多，一次轮询时间较长，获得的日志数据的时效性较差，无法满足实际要求，而且，监控服务器在轮询过程中，耗费较多内存资源，一旦出现错误，将会导致线程拥塞，监控服务器的性能压力较大。

发明内容

本发明的目的是提供一种基于数据实时推送的日志监控系统，以提高日志数据的时效性，减轻监控服务器的性能压力。

为解决上述技术问题，本发明提供如下技术方案：

一种基于数据实时推送的日志监控系统，包括监控管理模块、数据库和多个日志推送模块，每个日志推送模块设置于不同的监控对象中，日志推送模块和监控对象为一一对应关系，其中，

第一日志推送模块，用于对其对应的第一监控对象中的日志数据进行监测，抓取所述第一监控对象中新增的第一日志数据，并将所述第一日志数据推送给所述监控管理模块，所述第一日志推送模块为多个日志推送模块中的任意一个；

所述监控管理模块，用于接收所述第一日志推送模块推送的所述第一日志数据，将所述第一日志数据存放于所述数据库中，以使所述数据库中存储有所有监控对象的日志数据。

在本发明的一种具体实施方式中，

所述监控管理模块，还用于在监测到有新的第二监控对象加入时，获得所述第二监控对象的操作系统登录信息，根据所述第二监控对象的操作系统登录信息和自身的连接信息，配置日志推送客户端安装程序，将配置后的所述日志推送客户端安装程序发送给所述第二监控对象，以基于所述日志推送客户端安装程序，在所述第二监控对象上完成相应的第二日志推送模块的设置。

在本发明的一种具体实施方式中，

所述监控管理模块，还用于在设定时长内未接收到所述第二日志推送模块的完成反馈信息时，重复执行所述将配置后的所述日志推送客户端安装程序发送给所述第二监控对象的步骤。

在本发明的一种具体实施方式中，还包括日志处理模块，用于对所述数据库中新增的日志数据进行分析，根据分析结果和预设的处理策略，进行相应的处理操作。

在本发明的一种具体实施方式中，还包括告警通知模块，

所述日志处理模块，还用于根据所述分析结果，确定当前是否存在故障，如果是，则在所述数据库中获取故障数据，将所述故障数据发送给所述告警通知模块，所述告警数据中携带故障相关属性信息；

所述告警通知模块，用于接收所述日志处理模块发送的所述告警数据，根据所述告警数据，输出告警通知。

在本发明的一种具体实施方式中，所述告警通知模块，具体用于根据所述告警数据，确定告警级别，根据所述告警级别对应的通知策略，输出所述告警通知。

在本发明的一种具体实施方式中，还包括多个自监管模块，每个自监管模块设置于不同的监控对象中，自监管模块与日志推送模块为一一对应关系，

第一自监管模块，用于监测其对应的所述第一日志推送模块的运行状态，在监测到所述第一日志推送模块运行出现异常时，生成异常事件，将所述异常事件发送给所述监控管理模块；

所述监控管理模块，还用于接收所述异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的异常告警通知。

在本发明的一种具体实施方式中，

所述第一自监管模块，还用于在监测到所述第一日志推送模块运行出现异常时，对所述第一日志推送模块进行修复。

在本发明的一种具体实施方式中，

所述第一自监管模块，还用于在对所述第一日志推送模块进行成功修复后，向所述监控管理模块发送所述第一日志推送模块的运行状态恢复信息；

所述监控管理模块，还用于根据所述运行状态恢复信息，消除针对所述第一日志推送模块的异常事件，并通过所述告警通知模块输出针对所述第一日志推送模块的故障恢复通知。