[发明专利]日志分析方法及系统

说明书

技术领域

本发明涉及计算机领域，尤其涉及一种日志分析方法及系统。

背景技术

随着计算机技术的飞速发展，数据量迅速增加，数据的积累也越来越大，这也就意味着海量数据时代已经到来。在进行数据的传输、交换和处理过程中，安全性是一个非常重要的因素，因此，许多与信息处理相关的设备（如防火墙、入侵监测系统、路由器和服务器等）都会产生日志。日志记录了设备上和网络上每天发生的各种各样的事情，我们可以通过对日志的查询、统计等方法来了解各个设备和整个网络的状况。

然而，面对海量的日志数据，如何才能更快更准确的统计、分析出想要获取的信息已经成为我们要面对的一个难题。为此，Princeton University的Ariel Rabkin等人提出了一种“分布式数据分析方法”，即将原始日志数据进行前期的聚集、汇总、入库、分析，从而降低了数据规模，从而达到了“实时性”的要求。但是，现有的日志分析技术中，大部分均以“日志数据集中存储”为前提，且日志分析并不具有实时性；尤其在广域网的环境下，由于“日志信息传输”与分析时“各设备间信息交互”更会导致实时性显著下降。而且现有技术中，不但在数据前期汇总时增加了数据的传输规模，而且付出了“损失其它维度数据信息”的代价，无法满足多维度数据查询的需求；并且现有技术还存在成本高、效率低及耗时等缺点。

发明内容

本发明的目的是针对上述问题，提供了一种具有效率高、实时性强的日志分析方法及系统。

为实现上述目的，本发明提供了一种日志分析方法，包括以下步骤：

数据处理单元接收客户端发送的用户请求；

所述数据处理单元将所述用户请求处理为任务信息，并将所述任务信息发送给所述数据分析单元；

所述数据分析单元根据接收到的所述任务信息进行日志分析生成分析结果，并将所述分析结果发送给数据处理单元；

所述数据处理单元对所述分析结果处理为回复信息，并将所述回复信息发送给所述客户端。

优选地，所述数据处理单元将所述用户请求处理为任务信息具体包括：

数据处理单元将所述用户请求转换为数据调用参数，将所述调用参数生成任务集合，并将所述任务集合对应的任务信息发送给数据分析单元。

优选地，所述数据处理单元将所述用户请求处理为任务信息具体还包括：

判断所述任务集合是否存储在本地缓存中；

如果所述任务集合存储在本地缓存当中，则将所述任务集合在本地的缓存关联至该任务；如果所述任务集合没有存储在本地缓存当中，则所述任务集合对应的任务信息发送给所述数据分析单元。

优选地，所述数据处理单元将所述用户请求处理为任务信息具体还包括：

判断所述用户请求是否转换为数据调用参数；

如果所述用户请求转换为数据调用参数，则直接返回；如果所述用户请求没有转换为数据调用参数，则将用户请求没有转换为数据调用参数，并在监控时间内实时监控本次日志分析的执行状态。

优选地，所述在监控时间内实时监控本次日志分析的执行状态具体包括：

如果在所述监控时间内，所述数据分析单元将分析结果发送给所述数据处理单元，则所述数据处理单元将当前状态更新为完成；

如果在所述监控时间内，所述数据分析单元将错误信息发送给数艘数据处理单元，则所述数据处理单元将当前状态更新为失败，所述数据处理单元记录所述错误信息；

如果在所述监控时间内，所述数据分析单元没有发送信息给所述数据处理单元，则所述数据处理单元将当前状态更新为超时，并且所述数据处理单元记录所述超时。

优选地，所述数据处理单对将所述分析结果处理为所述回复信息具体包括：

所述数据处理单元接收所述数据分析单元发送的所述分析结果，所述数据处理单元对所述分析结果进行二次汇总分析，并将所述二次汇总分析的结果处理为回复信息。

一种日志分析系统，所述系统包括：

数据处理单元，用于用户请求的收集、分析，将所述用户请求转换为任务信息，并且接收数据分析单元发送的分析结果，将所述分析结果发送给客户端；

数据分析单元，用于接收所述数据处理单元发送的任务信息，根据所述任务信息对日志数据进行分析并生成所述分析结果，并将所述分析结果发送给所述数据处理单元。

优选地，所述数据处理单元包括：数据访问接口，数据收集调度模块，

数据分析模块，第一存储模块，第二存储模块，数据收集模块；