[发明专利]页面内容划分方法、装置、可读存储介质及电子设备

说明书

本公开涉及一种页面内容划分方法、装置、可读存储介质及电子设备，所述方法包括：根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。因此，有效保证页面内容划分的准确性和适用范围。

技术领域

本公开涉及页面内容处理领域，具体地，涉及一种页面内容划分方法、装置、可读存储介质及电子设备。

背景技术

随着互联网技术的快速发展，针对大数据量的页面的处理尤为重要。现有技术中，可以比较简单的获取到页面的源代码，从该大量的页面中提取出用户所需要的内容便成为了亟待解决的问题。

发明内容

本公开的目的是提供一种页面内容划分方法、装置、可读存储介质及电子设备。

为了实现上述目的，根据本公开的第一方面，提供一种页面内容划分方法，所述方法包括：

根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；

针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；

针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；

确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；

根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。

根据本公开的第二方面，提供一种页面内容划分装置，所述装置包括：

分组模块，用于根据页面URL对多个页面进行分组，其中，每个页面分组分别对应于一种页面结构；

第一生成模块，用于针对每一页面分组，生成当前页面分组下的各个页面对应的dom树；

第一确定模块，用于针对每一页面分组，根据当前页面分组下的各个dom树，确定能够代表当前页面分组对应的页面结构的第一特征路径，并至少根据所述第一特征路径确定当前页面分组中的内容节点；

第二确定模块，用于确定所述内容节点的权重，其中，所述权重用于表征所述内容节点所包含的信息的变化程度；

第三确定模块，用于根据所述内容节点的权重，确定所述内容节点对应的标识，以进行页面内容划分。

根据本公开的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述第一方面任一所述方法的步骤。

根据本公开的第四方面，提供一种电子设备，包括：

存储器，其上存储有计算机程序；

处理器，用于执行所述存储器中的所述计算机程序，以实现上述第一方面任一所述方法的步骤。

在上述技术方案中，首先将多个页面根据其URL进行分组，从而可以对页面进行划分，使得划分至同一页面分组的各个页面的页面结构相似，因此，可以基于该页面分组下的页面确定内容节点对应的标识，有效保证页面内容划分的准确性和适用范围。另外，通过将同一页面分组下的各个页面进行合并，从而确定可以代表该页面分组的页面结构的第一特征路径，并基于该第一特征路径获取内容节点，便于根据不同页面结构的页面确定其对应的不同内容节点，为保证页面内容划分结果的准确性提供支持。