[发明专利]网络访问记录的处理方法、装置和计算机可读存储介质

说明书

本发明公开了一种网络访问记录的处理方法和装置，涉及大数据处理技术领域。该方法包括：选取一条网络访问记录作为目标记录，根据目标记录的来源页面字段以及其它网络访问记录的目的URL字段确定对比记录；在目标记录和对比记录的处理时间差小于第一阈值的情况下，清洗掉目标记录。该方法和装置能够实现具有普遍适用性的自动记录清洗功能。

技术领域

本发明涉及大数据处理技术领域，特别涉及一种网络访问记录的处理方法、装置和计算机可读存储介质。

背景技术

随着大数据处理技术的快速发展和普及应用，运营商可以采用诸如DPI(DeepPacket Inspection，深度报文检测)等技术手段采集用户的网络访问记录，并基于网络访问记录进行大数据分析，从而更好地了解客户需求，开展相应服务。

但是，由于互联网广告的需求以及AJAX(Asynchronous Javascript And XML，异步JavaScript和XML)、CSS(Cascading Style Sheets，层叠样式表)等技术的广泛使用，用户的一次网页访问行为可能会触发浏览器后台的多次http(Hyper Text TransferProtocol，超文本传输协议))请求。从而导致网络访问记录的数据量庞大，存储和处理均需要耗费大量资源，因此需要对网络访问记录进行清洗。

为解决上述技术问题，目前主要采用基于资源文件后缀的清洗技术和基于规则过滤的清洗技术。

发明内容

本发明的发明人发现上述现有技术中存在如下问题：并不是所有的网络访问记录都具有后缀，因此以后缀作为清洗依据不具有普遍适用性；基于规则过滤需要人工进行整理并定期更新过滤规则，不能实现记录的自动化清洗。针对上述问题中的至少一个问题，本发明人提出了解决方案。

本发明的一个目的是提供一种网络访问记录的技术方案，能够实现记录的自动化清洗。

根据本发明的一个实施例，提供了一种网络访问记录的处理方法，包括：

选取一条网络访问记录作为目标记录，根据所述目标记录的来源页面字段以及其它网络访问记录的目的统一资源定位符URL字段确定对比记录；在所述目标记录和对比记录的处理时间差小于第一阈值的情况下，清洗掉所述目标记录。

可选地，响应于所述其它网络访问记录的目的URL字段与所述目标记录的来源页面字段指向同一页面，将所述其它网络访问记录确定为所述对比记录。

可选地，根据源IP和用户代理User Agent将网络访问记录划分为多个记录集合，从记录集合中选取一条网络访问记录作为所述记录集合的所述目标记录。

可选地，在所述目标记录所在的记录集合中确定所述对比记录，所述对比记录的处理时间早于所述目标记录的处理时间。

可选地，如果存在多条满足上述条件的网络访问记录，则选取处理时间距离目标记录处理时间最近的网络访问记录确定为对比记录。

可选地，响应于所述目标记录不具有所述来源页面字段，将与所述目标记录具有相同域名的网络访问记录确定为对比记录。

可选地，删除所述处理时间与当前时刻的时间差大于第二阈值的网络访问记录。

根据本发明的另一个实施例，提供一种网络访问记录的处理装置，包括：对比记录确定模块，用于选取一条网络访问记录作为目标记录，根据所述目标记录的来源页面字段以及其它网络访问记录的目的统一资源定位符URL字段确定对比记录；记录清洗模块，用于在所述目标记录和对比记录的处理时间差小于第一阈值的情况下，清洗掉所述目标记录。

可选地，所述对比记录确定模块响应于所述其它网络访问记录的目的URL字段与所述目标记录的来源页面字段指向同一页面，将所述其它网络访问记录确定为所述对比记录。