[发明专利]网页数据分析处理方法及装置

权利要求书

1.一种网页数据分析处理方法，其特征在于，所述方法包括：

获取目标网页的统一资源定位符URL数据；

将所述URL数据进行拆分，得到二元组集合，所述二元组集合包括由拆分后的元素信息组成的二元组的集合，其中，一组元素信息对应一个二元组，所述二元组包括元素和所述元素的位置信息；

根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

2.根据权利要求1所述的方法，其特征在于，所述将所述URL数据进行拆分，得到二元组集合之后还包括：

对所述二元组集合中的二元组按照预设条件进行筛选，得到频繁一项集，所述预设条件为：所述二元组出现的频率大于第一预设阈值；

则相应的，所述根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式具体为：

根据所述频繁一项集中二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

3.根据权利要求1所述的方法，其特征在于，所述将所述URL数据进行拆分包括：

使用预设的字符信息将所述URL进行拆分；其中，拆分后的URL包括目录、参数及参数值。

4.根据权利要求2所述的方法，其特征在于，所述根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式包括：

将所述URL中所述频繁一项集的二元组对应的元素进行保留，其他元素利用特定字符进行替换，得到所述URL的候选集，其中，所述特定字符为计算机能够识别的通用字符；

判断所述候选集中的元素出现的频率是否大于第二预设阈值；

若所述候选集中的元素出现的频率大于第二预设阈值，则将所述候选集作为所述URL的pattern模式；

若所述候选集中的元素出现的频率小于等于第二预设阈值，则使用原始URL作为所述URL的pattern模式。

5.根据权利要求1或2所述的方法，其特征在于，所述根据每个所述二元组出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式之后还包括：

将所述URL的pattern模式数据作为机器学习的训练集进行特征提取；

根据提取后的信息进行行为模式安全分析，确定异常行为模式。

6.一种网页数据分析处理装置，其特征在于，所述装置包括：

获取模块，用于获取目标网页的URL数据；

拆分模块，用于将所述获取模块获取的所述URL数据进行拆分，得到二元组集合，所述二元组集合包括由拆分后的元素信息组成的二元组的集合，其中，一组元素信息对应一个二元组，所述二元组包括元素和所述元素的位置信息；

处理模块，用于根据所述二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

筛选模块，用于对所述二元组集合中的二元组按照预设条件进行筛选，得到频繁一项集，所述预设条件为：所述二元组出现的频率大于第一预设阈值；

则相应的，所述处理模块具体用于：

根据所述频繁一项集中二元组对应的元素出现的频率信息对所述URL数据进行压缩处理，得到所述URL的pattern模式。

8.根据权利要求6所述的装置，其特征在于，所述拆分模块用于：

使用预设的字符信息将所述URL进行拆分；其中，拆分后的URL包括目录、参数及参数值。