[发明专利]一种页面识别方法、装置、设备及存储介质

说明书

本申请公开了一种页面识别方法，所述方法包括：获取包括网站任一页面相对于网站首页的层级的第一层级结构信息；其中，所述第一层级结构信息中，包括所述任一页面中的至少一个节点；所述至少一个节点，为所述任一页面中包含的满足指定条件的块状元素节点；获取第一节点的第一区域信息；其中，所述第一节点，为所述至少一个节点中的任一节点；所述第一区域信息，为所述第一节点所在页面被显示时所述第一节点包含的块状元素的区域信息；基于所述第一层级结构信息以及所述第一区域信息，识别所述第一节点所在页面的类型。本申请还公开了一种页面识别装置、设备以及计算机可读存储介质。

技术领域

本发明涉及信息技术领域，尤其涉及一种页面识别方法、装置、设备以及计算机可读存储介质。

背景技术

网站类型的多样化、网站中数据动态更新速度频率高等因素，使得针对网站的数据采集业务的数据处理量呈现爆发式增长的趋势。在相关技术中，通常采用首先确定各个网站中的频道页，并以频道页为基准进行高速数据采集。而在实际应用中，为了确定当前网页是否为频道页，通常采用人工配置页面识别条件、或者依赖于大量携带有标签的样本数据识别页面特征的方法来实现。然而，人工配置页面识别条件的方法，效率低下，当网站发生改变时，需要修改页面识别条件；依赖于大量携带有标签的样本数据识别页面特征的方法，对样本数据依赖性太强，并且，样本数据的标签标注工作，也需要大量的人力成本。

发明内容

本申请提供了一种页面识别方法，该页面识别方法，克服了页面识别过程中由于人工设置页面识别条件而导致的效率低下的缺点，还能够在不依赖于携带有标签的样本数据的情况下，进行页面的快速高效分类。

本申请提供的页面识别方法是这样实现的：

本申请提供了一种页面识别方法，所述方法包括：

获取包括网站任一页面相对于网站首页的层级的第一层级结构信息；其中，所述第一层级结构信息中，包括所述任一页面中的至少一个节点；所述至少一个节点，为所述任一页面中包含的满足指定条件的块状元素节点；

获取第一节点的第一区域信息；其中，所述第一节点，为所述至少一个节点中的任一节点；所述第一区域信息，为所述第一节点所在页面被显示时所述第一节点包含的块状元素的区域信息；

基于所述第一层级结构信息以及所述第一区域信息，识别所述第一节点所在页面的类型。

在一些实施方式中，所述基于所述第一层级结构信息以及所述第一区域信息，识别所述第一节点所在页面的类型，包括：

从所述第一层级结构信息中，获取第一数量信息；其中，所述第一数量信息，表示第二节点的数量信息；所述第二节点，包括所述第一节点的每一子节点；所述第二节点，为所述第一节点对应链接的页面中的节点；

基于所述第一数量信息以及所述第一区域信息，确定所述第一节点的特征参数；其中，所述第一节点的特征参数，用于确定所述第一节点的类型；

基于所述第一节点的特征参数，识别所述第一节点所在页面的类型。

在一些实施方式中，所述基于所述第一数量信息以及所述第一区域信息，确定所述第一节点的特征参数，包括：

获取第二区域信息；其中，所述第二区域信息，为所述第二节点所在的页面被显示时，所述第二节点包含的块状元素的区域信息；

基于所述第二区域信息、所述第一数量信息以及所述第一区域信息，确定所述第一节点的初始特征参数；

基于所述第一节点的初始特征参数，确定所述第一节点的特征参数。

在一些实施方式中，所述基于所述第二区域信息、所述第一数量信息以及所述第一区域信息，确定所述第一节点的初始特征参数，包括：