[发明专利]一种用于大型服务器集群的日志集群扫描与分析方法

摘要

本发明涉及系统监控与系统管理领域，旨在提供一种用于大型服务器集群的日志集群扫描与分析方法。该种用于大型服务器集群的日志集群扫描与分析方法包括单机日志分析、集群日志分析、日志集群分析和日志数据交换。本发明具有单机日志处理的简单性，统一化处理后单机和集群日志交换高效性，“推”“拉”日志交互协议的及时性，集群日志关联分析的全面性，事件库结构的综合性和高效性，事件预测的准确性。 1

主权项

1.一种用于大型服务器集群的日志集群扫描与分析方法，其特征在于，包括：(一)单机日志分析；(二)集群日志分析；(三)日志集群分析；(四)日志数据交换；(一)单机日志分析包括日志事件的统一化处理和事件快速分类，且单机日志分析在每一单机物理服务器上进行；所述日志事件的统一化处理的具体步骤为：步骤A：来源标识：记录每一日志事件产生的物理服务器在集群内的唯一标识，以及产生该日志事件的虚拟服务器标识；其中，所述虚拟服务器是指运行在物理服务器虚拟化软件上的服务器个体；步骤B：时间戳生成：将物理服务器和虚拟服务器的即时时间戳与对应的标识绑定，并生成相应的两个服务器签名；所述事件快速分类具体是指：根据来源的软硬件层级和预定义的严重程度，将所有日志事件分入不同的集合，并存入对应的文件；且若日志事件的严重程度超过预先定义的程度，则将该日志事件作为紧急事件推送至日志集群分析；(二)集群日志分析包括整体事件的关联处理和集群事件的来源分析，且集群日志分析在集群主管机上进行；所述集群主管机是指集群内用于管理的物理服务器；所述整体事件的关联处理具体包括：1、通过比较集群整体日志事件时间戳之间的相互关系，建立整体日志事件之间的关系，包括先后、并发；2、通过比较集群整体日志事件来源的软硬件层级，建立整体日志事件之间的因果关系；所述集群事件的来源分析具体是指：记录导致集群日志事件的物理服务器列表；(三)日志集群分析用于集群中各类日志的归总以及集群平台当前和未来运行状况的预测，具体包括下述步骤：步骤C：事件库的建立或更新：当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，作为第一个集群事件，则触发建立事件库；建有事件库后，当出现集群日志事件需要进行集群日志分析，或者有紧急事件从单机日志分析推送至日志集群分析，则触发更新事件库；其中，所述事件库存储于集群主管机的一个数据库中；步骤D：事件库统计：每一次进行步骤C中的事件库更新时，计算事件库中对应事件在特定时间窗口内的出现次数，并重新计算事件库中每一事件的出现频率；其中，所述特定时间窗口的初始大小预先设定，并能自动调整大小；步骤E：事件库建模：建立基于事件频率、事件来源以及依赖关系的事件库模型，用于表达不同事件之间的因果关系或先后关系；其中，所述事件频率通过步骤D获得，所述事件来源通过步骤A和集群日志分析中的集群事件的来源分析获得，所述依赖关系通过集群日志分析中的整体事件的关联处理获得；事件库模型存储在哈希链表树中，树形结构的父子指针表示依赖关系中的因果关系或先后关系，树节点内存储事件频率和事件来源，事件索引由哈希链表表示；步骤F：事件模式识别：利用模式识别方法，对步骤E建立的事件库模型中的信息进行模式的建立和识别，并记录所有显示较强统计意义的事件模式，用于为集群平台紧急状况监测和预警提供依据；其中，所述模式识别方法包括主元分析、贝叶斯决策理论方法；所述模式识别的依据是事件来源、事件频率和事件关系；所述显示较强统计意义的事件模式是指超过设定值的事件模式，包括出现次数超过设定值的事件模式、出现频率超过设定值的事件模式、以一个紧急事件结束的事件模式；步骤G：集群平台运行状况预警：当步骤F中识别出显示较强统计意义的事件模式并记录时，发出平台运行状况警告通知，同时对显示较强统计意义的事件模式的日志条目进行记录；步骤H：集群平台未来事件预测：根据步骤E中建立的事件库模型，预测将来可能发生的事件，并发出针对可能发生的紧急事件的预告通知；(四)日志数据交换用于实现日志数据在单机物理服务器和集群主管机之间进行交换，集群主管机通过集群日志分析获得日志数据，单机物理服务器和集群主管机通过推送与查询相结合的交互协议进行交换日志数据；推送的方法具体是指：单机物理服务器通过单机日志分析获得日志数据后，即时将紧急事件及其相关信息推送并汇总到集群主管机，并定期将部分统计信息汇总到集群主管机；其中，单机物理服务器进行定期汇总的汇总频率，由系统根据集群内部可使用通信带宽的情况自动调整；查询的方法具体是指：集群主管机在发出步骤G中的平台运行状况警告通知、发出步骤H中的针对可能发生的紧急事件的预告通知前，向单机物理服务器以查询的方式确认相关信息。