[发明专利]一种网页内容块的边界确定和分割的方法及系统

说明书

本申请提供一种网页内容块的边界确定和分割的方法及系统，所述方法包括：获取待分割网页的DOM树；根据获取的所述DOM树，构建与所述DOM树对应的副本DOM树；将所述副本DOM树中的行内节点与相连的文字节点进行合并处理，以及对所述副本DOM树进行去除网页头和网页页脚的预处理，获得目标DOM树；通过预设哈希值算法，计算所述目标DOM树中的各个节点的结构哈希值；根据计算获得的所述各个节点的结构哈希值，对所述待分割网页进行分割，获得多个内容块。旨在能够高效、准确地将网页分割为内容块。

技术领域

本发明涉及网页分割技术领域，特别是涉及一种网页内容块的边界确定和分割的方法及系统。

背景技术

网页分割方法主要依赖于网页的DOM树结构和视觉特征。其中的启发式规则算法主要通过经验性规则进行分割。然而网页的设计方式繁杂，特定的规则很难适用于所有情形，不断地增加新规则也使得网页分割的效率降低，如HEPS算法判断标题的规则就有6条，VIPS算法判定一个节点是否应该继续分割的规则多达12条。而基于机器学习的算法虽然避免了手动编写规则，且可以利用数据的规模优势，但由于大规模的网页标注数据的缺失，使得基于机器学习的分割算法大多采用聚类这种无监督学习的方式，由此将导致分割准确率低下，甚至低于启发式规则算法。而基于图像的算法仅使用网页的视觉特征，并且以渲染后的图像像素作为输入，像素的数量相较于DOM节点的数量多了一个数量级，这又将导致算法的效率较低，同时，基于图像的网页分割算法的准确率也低于启发式规则算法。

此外，现有的网页分割方法主要针对静态网页进行分割，而当前许多站点已广泛使用ajax动态加载数据，如微博等内容网站可通过滑动下拉获取更多数据，使得难以将现有的网页分割算法直接应用于动态Web页面的内容块分割。

发明内容

有鉴于此，本申请实施例提供一种网页内容块的边界确定和分割的方法及系统，旨在能够高效、准确地将网页分割为内容块。

第一方面，本申请实施例提供一种网页内容块的边界确定和分割的方法，所述方法包括：

获取待分割网页的DOM树；

根据获取的所述DOM树，构建与所述DOM树对应的副本DOM树；

将所述副本DOM树中的行内节点与相连的文字节点进行合并处理，以及对所述副本DOM树进行去除网页头和网页页脚的预处理，获得目标DOM树；

通过预设哈希值算法，计算所述目标DOM树中的各个节点的结构哈希值；

根据计算获得的所述各个节点的结构哈希值，对所述待分割网页进行分割，获得多个内容块。

可选地，所述根据获取的所述DOM树，构建与所述DOM树对应的副本DOM树，包括：

向预设DOM树副本构建算法中，每次输入所述待分割网页的DOM树中的一个节点和该节点对应的父节点；

在所述一个节点为非无关节点时，构建与所述非无关节点对应的副本节点，并遍历所述一个节点的子节点，以创建所述一个子节点的所有子节点各自对应的副本子节点；

将所述副本子节点中的每个副本子节点与前一个副本子节点相连，由此构建与所述DOM树对应的副本DOM树。

可选地，对所述副本DOM树进行去除网页头和网页页脚的预处理，包括：

对所述副本DOM树中每个节点的包围盒的宽度值进行排序；

在所述排序结果中，按从大到小的顺序选择出一个满足预设要求的目标宽度值；

将所述副本DOM树中包围盒的宽度值与所述目标宽度值相同的节点，沿y轴顺序排列为数组；

对所述数组中的每个节点的文字密度和外链比值进行计算；