[发明专利]一种用于大型服务器集群的日志集群扫描与分析方法

说明书

本发明涉及系统监控与系统管理领域，旨在提供一种用于大型服务器集群的日志集群扫描与分析方法。该种用于大型服务器集群的日志集群扫描与分析方法包括单机日志分析、集群日志分析、日志集群分析和日志数据交换。本发明具有单机日志处理的简单性，统一化处理后单机和集群日志交换高效性，“推”“拉”日志交互协议的及时性，集群日志关联分析的全面性，事件库结构的综合性和高效性，事件预测的准确性。

技术领域

本发明是关于系统监控与系统管理领域，特别涉及一种用于大型服务器集群的日志集群扫描与分析方法。

背景技术

在各种云计算服务日益普及到千家万户、超级计算助推国家绝大多数核高基项目的今天，服务器集群的稳定与安全成为这一新型计算模式成功的关键。而集群内部的扫描与分析是提供这种稳定性与安全性最及时和可靠的途径。

首先，现有的日志分析方法专注于单机节点日志的聚拢和统一管理，如专利CN103856354A“一种集群存储系统日志统一管理实现方法”和CN102724063A“日志采集服务器及数据包分发、日志聚类方法及网络”中所述的方法。这类方法忽略了单机服务器本身的筛选、分类以及为集群统一监控提供可能的前期预测和即时状况确认的能力。

其次，现有云计算服务器日志管理则专注于单机物理服务器上的日志分类、筛选，并为管理员的手动维护提供方便，如专利CN103475535A“云计算服务器日志管理系统”和CN102594598A“一种日志管理系统及其实现方法”中所描述的技术。这类技术忽略了基于服务器集群整体的统一管理和监控调度，不利于发挥服务器集群特别是大型服务器集群的整体资源整合与共享。

所以目前仍没有一个系统的技术来支撑日志集群的统一扫描与整体分析，以得到当前状况及未来运行趋势的方法或技术。服务器集群的各种日志可以提供关于整个集群平台运行状况最及时、最全面的信息。

发明内容

本发明的主要目的在于克服现有技术中的不足，提供一种能够充分利用单机服务器上最及时的日志信息以及一种“推”“拉”结合的高效日志数据交换协议来全面实时地监控和预警整个平台的稳定性和安全性的技术。为解决上述技术问题，本发明的解决方案是：

提供一种用于大型服务器集群的日志集群扫描与分析方法，包括：

(一)单机日志分析；

(二)集群日志分析；

(三)日志集群分析；

(四)日志数据交换；

(一)单机日志分析包括日志事件的统一化处理和事件快速分类，且单机日志分析在每一单机物理服务器上进行；

所述日志事件的统一化处理的具体步骤为：

步骤A：来源标识：记录每一日志事件(日志事件是指日志里包含的单个事件)产生的物理服务器在集群内的唯一标识，以及产生该日志事件的虚拟服务器标识；其中，所述虚拟服务器是指运行在物理服务器虚拟化软件上的服务器个体；

步骤B：时间戳生成：将物理服务器和虚拟服务器的即时时间戳与对应的标识绑定，并生成相应的两个服务器签名；

所述事件快速分类具体是指：根据来源的软硬件层级和预定义的严重程度，将所有日志事件分入不同的集合，并存入对应的文件(每一个集合对应一个文件)；且若日志事件的严重程度超过预先定义的程度，则将该日志事件作为紧急事件推送至日志集群分析；

(二)集群日志分析包括整体事件的关联处理和集群事件的来源分析，且集群日志分析在集群主管机上进行；所述集群主管机是指集群内用于管理的物理服务器(集群主管机通常不提供服务而专用于管理)；