[发明专利]一种生成网页结构模板的方法及系统

权利要求书

1.一种生成网页结构模板的方法，其特征在于，包括：

对样本网页进行相似网页的聚合计算，得到相似网页构成的集合；

针对每个集合，解析集合中所有网页的页面结构，得到每个网页的DOM树结构；

通过对集合中所有网页的DOM树结构进行分析，对应每个集合分别生成一个DOM树模板，并将该DOM树模板作为集合的网页结构模板。

2.根据权利要求1所述的方法，其特征在于，所述对应每个集合分别生成一个DOM树模板之后，还包括：

对每个DOM树模板自顶向下分别进行重复遍历，每次遍历时查找DOM树模板中是否存在DOM结构相同的兄弟节点：

如果存在，则将所述DOM结构相同的兄弟节点合并为一个节点，并对该合并后的节点标注LOOP属性，然后完成本次遍历后继续下一次的自顶向下遍历；

如果完成本次遍历后整个DOM树模板中都不存在DOM结构相同的兄弟节点，则结束遍历；

将所述不存在DOM结构相同的兄弟节点的DOM树模板作为集合对应的网页结构模板。

3.根据权利要求1所述的方法，其特征在于，所述对集合中所有网页的DOM树结构进行分析之前，还包括：

对每个DOM树自顶向下进行遍历，遍历时查找每个DOM树中是否存在DOM结构相同的兄弟节点，如果存在，则将所述DOM结构相同的兄弟节点合并为一个节点，并对该合并后的节点标注LOOP属性。

4.根据权利要求1至3任一所述的方法，其特征在于，所述通过对集合中所有网页的DOM树结构进行分析，对应每个集合分别生成一个DOM树模板，包括：

对集合中所有网页的DOM树结构自顶向下进行以下处理：

S1.确定当前节点，并从所述集合中获取包含当前节点的网页子集合；

S2.对所述网页子集合中的每个网页DOM树中当前节点的下一层孩子节点进行编号；

S3.对所述网页子集合的所有DOM树中编号的下一层孩子节点进行不同DOM树的两两对齐；

S4.根据对齐结果生成集合的DOM树模板中对应下一层孩子节点的结构模板；

S5.遍历所述对应下一层孩子节点的结构模板，将所述结构模板中的每个节点分别作为当前节点，重复S1至S5，直至下一层没有孩子节点为止。

5.根据权利要求4所述的方法，其特征在于，所述步骤S3包括：

针对所述网页子集合的所有DOM树中编号的下一层孩子节点，将不同DOM树中具有任一唯一属性的节点进行两两对齐，并将对齐的节点进行标记；

根据标记节点的对齐位置分割出不同DOM树中未标记的剩余节点，然后对所述未标记的剩余节点进行不同DOM树的对齐操作。

6.根据权利要求5所述的方法，其特征在于，所述唯一属性包括：

唯一标签名称，和/或

唯一id，和/或

唯一class属性，和/或

唯一href属性，和/或

唯一alt属性，和/或

唯一文字。

7.根据权利要求5所述的方法，其特征在于，对所述未标记的剩余节点进行不同DOM树的对齐操作，包括：

将不同DOM树中未标记的剩余节点进行两两对齐的组合；

对每一种组合方案计算编辑距离；

选择编辑距离最短的对齐方案进行对齐。

8.根据权利要求7所述的方法，其特征在于，所述对每一种组合方案计算编辑距离，包括：

设置每一种组合方案的初始编辑距离；

在每一种组合方案的对齐过程中，每删除一个节点，则编辑距离加上预置的权重值；每添加一个节点，则编辑距离也加上预置的权重值；

对齐结束后，得到每一种组合方案的最终编辑距离。