[发明专利]一种处理点击日志的方法、装置和系统

说明书

本公开提供了一种处理点击日志的方法、装置和系统。所述方法包括：根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；利用所述第一点击日志计算所述第一实时指标。

技术领域

本公开涉及互联网技术领域，更具体地，涉及一种处理点击日志的方法、装置和系统。

背景技术

用户访问网站时，服务器接收请求之后会发送数据到用户客户端，然后，用户在网站上任意一个页面的任何一个位置的点击都会产生一条点击日志。

随着互联网应用的广泛普及，单位时间内产生的点击日志数量非常巨大并且具有很大的随机性，尤其是例如在大促销时期。因此，对于点击日志的处理就会要求有较高的时效性和稳定性，例如要避免数据堆积而导致系统瘫痪等。

当前对点击日志进行实时处理时，是将产生的点击日志统一收集一个数据暂存总站，例如kafka数据系统。后续计算各种与点击日志相关的实时指标时都从该数据暂存总站中获取需要的点击日志来进行计算。但是，这种方式使得计算所有的实时指标时都从数据暂存总站获取数据，从而可能会对总的数据暂存总站造成极大的压力。而且，在计算每一个实时指标时，数据暂存总站中会存在大量的与该实时指标无关的数据，这样就需要占用额外的计算机资源去进行计算，影响实时指标计算的时效性。

发明内容

有鉴于此，本公开提供了一种能够缓解数据暂存总站的数据处理压力，同时提高点击日志实时处理效率的点击日志处理方法、装置和系统。

本公开的一个方面提供了一种处理点击日志的方法。根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站。从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志。利用所述第一点击日志计算所述第一实时指标。

根据本公开的实施例，在根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站之前，还包括当产生所述点击日志时将所述点击日志发送至数据暂存总站。

根据本公开的实施例，所述方法还包括当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时从所述数据暂存总站获取第二点击日志，然后利用所述第二点击日志计算所述第二实时指标。

根据本公开的实施例，根据点击日志所满足的预设条件将所述点击日志发送至与所述预设条件相对应的数据暂存站，包括判断所述点击日志的第一参数，并根据所述第一参数所满足的预设条件将所述点击日志发送到与所述预设条件相对应的数据暂存站。

根据本公开的实施例，所述预设条件包括点击日志的主题类型，和/或点击日志的产生源。

根据本公开的实施例，所述数据暂存站包括分布式发布订阅消息系统kafka。

本公开的另一个方面提供了一种处理点击日志的装置，包括：点击日志分发模块，用于根据点击日志所满足的预设条件，将所述点击日志发送至与所述预设条件相对应的数据暂存站；第一获取模块，用于从与计算第一实时指标的数据需求相匹配的第一数据暂存站中获取第一点击日志；第一计算模块，用于利用所述第一点击日志计算所述第一实时指标。

根据本公开的实施例，所述装置还包括点击日志收集模块，用于当产生所述点击日志时，将所述点击日志发送至数据暂存总站。

根据本公开的实施例，所述装置还包括：第二获取模块，用于当计算第二实时指标的数据需求无法与任意一个数据暂存站相匹配时，从所述数据暂存总站获取第二点击日志；第二计算模块，用于利用所述第二点击日志计算所述第二实时指标。

根据本公开的实施例，所述点击日志分发模块包括：判断子模块，用于判断所述点击日志的第一参数；分发子模块，用于根据所述第一参数所满足的预设条件，将所述点击日志发送到与所述预设条件相对应的数据暂存站。