[发明专利]网页数据分析处理方法及装置

说明书

本发明实施例公开一种网页数据分析处理方法及装置，该方法包括：获取目标网页的URL数据；将所述URL数据进行拆分，得到二元组集合，二元组集合包括由拆分后的元素信息组成的二元组的集合，其中，一组元素信息对应一个二元组，二元组包括元素和所述元素的位置信息；根据二元组对应的元素出现的频率信息对URL数据进行压缩处理，得到URL的pattern模式。该方法可以将各种Web应用访问数据中的大量URL数据，压缩成少量的pattern模式，保留必要的字符信息，通过压缩后少量的pattern模式展现，大大减小了数据处理量和计算量，且利用处理后的pattern模式的数据能够直接进行人为观测与安全分析。

技术领域

本发明涉及计算机信息安全技术领域，尤其涉及一种网页数据分析处理方法及装置。

背景技术

随着各种电商网站的井喷式增长，针对主流零售电商网站数据情况，如访问记录、日均访问量以及安全性等进行统计分析的需求越来越强烈。

传统统计分析的方法，是基于统一资源定位符(Uniform Resource Locator，URL)合并计算每个URL访问总次数，从而统计整个网站的访问记录及特定时间段的访问量；该方法中由于不重复URL数量多，其统计结果数量巨大，难以进行快速观测与分析；而对访问网站的安全性分析是基于正则分析方法，通过正则表达式，针对访问URL进行匹配分析。一般攻击恶意行为会在URL有直接特征表现，所以，通过特定正则表达式匹配，能够分析访问URL是否是恶意攻击，但不同的访问URL可能对应相同攻击类型，甚至一个URL包含多种攻击类型，针对成百上千服务器节点、千万级用户、百万URL的业务系统，在业务开发迭代快，URL变化频率高的互联网领域，这种方法人工投入和维护量巨大，难以实现。

发明内容

为解决上述技术问题，本发明实施例期望提供一种网页数据分析处理方法及装置，用以减小网络访问数据中的数据处理量和计算量的问题。

本发明的技术方案是这样实现的：

一种网页数据分析处理方法，所述方法包括：

获取目标网页的URL数据；

将所述URL数据进行拆分，得到二元组集合，所述二元组集合包括由拆分后的元素信息组成的二元组的集合，其中，一组元素信息对应一个二元组，所述二元组包括元素和所述元素的位置信息；

根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

上述方案中，所述将所述URL数据进行拆分，得到二元组集合之后还包括：

对所述二元组集合中的二元组按照预设条件进行筛选，得到频繁一项集，所述预设条件为：所述二元组出现的频率大于第一预设阈值；

则相应的，所述根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式具体为：

根据所述频繁一项集中二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

上述方案中，所述将所述URL数据进行拆分包括：

使用预设的字符信息将所述URL进行拆分；其中，拆分后的URL包括目录、参数及参数值。

上述方案中，所述根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式包括：

将所述URL中所述频繁一项集的二元组对应的元素进行保留，其他元素利用特定字符进行替换，得到所述URL的候选集，其中，所述特定字符为计算机能够识别的通用字符；

判断所述候选集中的元素出现的频率是否大于第二预设阈值；