[发明专利]用于网站日志采集的方法及装置

说明书

本申请公开一种用于网站日志采集的方法及装置。该方法包括：通过客户端的浏览器获取日志请求；在所述客户端根据预定规则判断所述日志请求是否需要进行预处理；对需要进行预处理的所述日志请求进行预处理，以生成上报消息；以及将所述上报消息由所述客户端发送至预定服务器。本申请公开的用于网站日志采集的方法及装置，能够提高工作效率，节约带宽资源，降低了服务器端的资源消耗。

技术领域

本发明涉及计算机信息处理领域，具体而言，涉及一种用于网站日志采集的方法及装置。

背景技术

大数据的背景下，网站用户行为数据分析成为企业标配，主流的数据采集方式是基于Javascript(JS)的BS架构，早期的网站统计只收集用户的浏览行为，但随着ajax技术的广泛使用和用户精细化运营需求，点击事件、自定义事件等不同行为日志的采集需求也越来越多，但随着数据上报频率的增多，多条日志中包含的重复信息越来越多，且对后端服务器的压力越来越大，对于下游进行日志解析处理和应用指标统计的复杂度也带来了挑战。

现有技术中，常用的日志采集方式有页面标签埋点技术与无埋点技术。页面标签埋点技术：网站引入一段JS来上报浏览数据，对于特定位置的点击数据或者自定义日志数据上报，需要在对应的页面位置加入一段代码标签，以便JS监听相应位置的点击。无埋点技术：网站引入一段JS来上报浏览数据，对于特定位置的点击数据，无需额外埋点，JS通过监听网页文档对象模型(Document Object Model，DOM)结构，捕获所有可点击元素的点击行为，将页面全量点击数据上报，后续通过对页面位置进行圈选订阅，展示相应位置的点击数据。

页面标签埋点技术的缺点是：标签的定义和部署，工作量大，周期长。而无埋点技术也存在缺点：全量元素上报，给日志接收服务器带来了很大的性能挑战，日志处理和后续解析的资源消耗也很大。

因此，需要一种新的用于网站日志采集的方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本发明提供一种用于网站日志采集的方法及装置，能够提高工作效率，节约带宽资源，降低了服务器端的资源消耗。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提出一种用于网站日志采集的方法，该方法包括：通过客户端的浏览器获取日志请求；在客户端根据预定规则判断日志请求是否需要进行预处理；对需要进行预处理的日志请求进行预处理，以生成上报消息；以及将上报消息由客户端发送至预定服务器。

在本公开的一种示例性实施例中，还包括：通过浏览器获取策略消息，并将策略消息缓存到客户端的本地。

在本公开的一种示例性实施例中，通过客户端的浏览器获取策略消息，并将策略消息缓存到本地，包括：通过客户端的浏览器发送日志请求时，获取策略消息，并将策略消息缓存到本地。

在本公开的一种示例性实施例中，通过客户端的浏览器获取日志请求，包括：通过浏览器加载采集脚本语言；通过采集脚本语言，在用户对浏览器中的网页进行操作时获取对应的日志请求。

在本公开的一种示例性实施例中，在客户端根据预定规则判断日志请求是否需要进行预处理，包括：在客户端通过策略消息生成预定规则；以及根据预定规则判断日志请求是否需要进行预处理。

在本公开的一种示例性实施例中，对需要进行预处理的日志请求进行预处理，生成上报消息，包括：通过浏览器的localStorage对日志请求进行预处理，生成上报消息。