[发明专利]日志处理方法及装置

说明书

本申请提供一种日志处理方法及装置，该方法应用于内容分发网络的边缘节点上，包括：对日志进行处理，得到所述日志的字段信息；基于所述字段信息对预设的用于表示日志过滤条件的运算式进行运算；在运算结果为日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。通过本申请的技术方案，解决了现有技术中只能通过固定逻辑对日志进行处理的问题，能够根据用户设置的过滤表达式和处理规则对日志进行处理，从而得到符合用户需求的日志，并且用户可以随时更改过滤表达式及处理规则，使得对日志的处理方式更加多样和灵活，而且不存在现有技术中的延迟问题。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种日志处理方法及装置。

背景技术

在CDN(Content Delivery Network，内容分发网络)的架构中，通常包括中心节点及与中心节点相连接的若干边缘节点。各CDN节点的主要功能是将源站，例如淘宝的页面和图片等静态资源缓存到与用户地理位置更近的CDN节点，以提高用户的网络访问速度，CDN节点每天产生海量的访问日志，会对日志进行一些处理。

现有技术中，对多地多节点日志的处理流程是在各个边缘节点内部对日志进行统一逻辑的例如解析、统计、合并等处理，然后将处理结果传输至中心节点，由中心节点基于日志所属的用户对日志进行分割。在这种方式中，由于用户的需求是多样化的，而边缘节点的处理逻辑是固定的，因而无法满足不同用户的不同需求，用户无法获取符合与边缘节点的固有逻辑不一致的特定条件的日志。另一方面，中心节点按照所属用户进行分割的方式存在较大的延迟，且分割后的文件无法灵活的进行分析。

发明内容

本申请提供日志处理方法及装置，以解决现有技术中边缘节点的处理逻辑是固定的，因而无法满足不同的用户需求以及中心节点按照所属用户进行分割的方式存在较大的延迟，且分割后的文件无法灵活的进行分析等问题。

根据本申请实施例的第一方面，提供一种日志处理方法，应用于内容分发网络的边缘节点上，包括：

对日志进行处理，得到所述日志的字段信息；

基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

根据本申请实施例的第二方面，提供了一种日志处理方法，应用于内容分发网络的中心节点上，包括：

将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。

根据本申请实施例的第三方面，提供一种日志处理装置，应用于内容分发网络的边缘节点上，所述装置包括：

第一处理单元，用于对日志进行处理，得到所述日志的字段信息；

过滤单元，用于基于所述字段信息对用于表示预设的日志过滤条件的运算式进行运算；

上报单元，用于在运算结果为所述日志符合所述日志过滤条件时，将所述日志上报给所述内容分发网络的中心节点。

根据本申请实施例的第四方面，提供一种日志处理装置，应用于内容分发网络的中心节点上，所述装置包括：

第二发送单元，用于将用户设置的用于表示日志过滤条件的表达式发送给所述内容分发网络的边缘节点，以使所述边缘节点在确定日志符合所述日志过滤条件时，上报所述日志；

第三处理单元，用于基于所述用户设置的第二处理规则对所述边缘节点上报的日志进行第二处理。