[发明专利]日志数据处理方法及系统

摘要

本申请提供一种日志数据处理方法及系统。方法包括：日志数据处理系统中的映射节点向对应的目标客户端代理装置发送查询请求，并接收目标客户端代理装置返回的目标日志数据；若映射节点接收到对应的所有目标客户端代理装置返回的目标日志数据，对所有接收到的目标日志数据进行关联预处理，并将关联预处理结果发送给日志数据处理系统中的归纳节点；若归纳节点接收到所有映射节点发送的关联预处理结果，对所有接收到的关联预处理结果进行关联处理，并输出关联处理结果。本申请可以在对日志数据进行实时处理的同时，提高处理结果的可靠性。

主权项

1.一种日志数据处理方法，适用于日志数据处理系统，所述日志数据处理系统包括映射节点和归纳节点，其特征在于，所述方法包括：执行当前日志数据处理任务中的关联预处理子任务的映射节点向所述映射节点对应的目标客户端代理装置发送查询请求，并接收所述目标客户端代理装置根据所述查询请求返回的当前日志数据处理任务所需的目标日志数据；其中，所述目标客户端代理装置是部署于产生所述目标日志数据的日志宿主机上的客户端代理装置，所述查询请求包括：日志文件标识和时间段标识，所述目标日志数据是所述日志文件标识所标识的日志文件中在所述时间段标识所标识的时间段内产生的日志数据；若所述映射节点接收到所述映射节点对应的所有所述目标客户端代理装置返回的所述目标日志数据，对所有接收到的所述目标日志数据进行关联预处理，并将关联预处理结果发送给执行当前日志数据处理任务中的关联处理子任务的归纳节点；若所述归纳节点接收到所有执行关联预处理子任务的所述映射节点发送的所述关联预处理结果，对所有接收到的所述关联预处理结果进行关联处理，并输出关联处理结果。