[发明专利]网页信息提取方法及相关设备

权利要求书

1.一种网页信息提取方法，其特征在于，所述网页信息提取方法包括：

获取目标网页；

将所述目标网页转换为目标树；

从所述目标树获取文本内容；

对所述文本内容进行分词，得到多个字符串；

确定每个字符串的特征信息，所述特征信息包括表示信息、位置信息和树结构信息；

组合所述多个字符串的特征信息，得到所述目标网页的特征表示。

2.如权利要求1所述的网页信息提取方法，其特征在于，所述获取目标网页包括：

获取所述目标网页的网页地址；

利用网页爬取工具下载所述网页地址对应的HTML文本。

3.如权利要求1所述的网页信息提取方法，其特征在于，所述将所述目标网页转换为目标树包括：

利用网页解析工具通过深度优先遍历方法将所述目标网页转换为所述目标树。

4.如权利要求1所述的网页信息提取方法，其特征在于，在所述将所述目标网页转换为目标树之前，所述网页信息提取方法还包括：

对所述目标网页进行规范化处理。

5.如权利要求1所述的网页信息提取方法，其特征在于，在所述从所述目标树获取文本内容之前，所述网页信息提取方法还包括：

对所述目标树进行剪枝预处理。

6.如权利要求1所述的网页信息提取方法，其特征在于，所述文本内容包括中文文本，所述对所述文本内容进行分词包括：

结合自然语言处理算法对所述中文文本进行分词；或

训练基于BERT的分词模型，通过训练后的分词模型对所述中文文本进行分词。

7.如权利要求1所述的网页信息提取方法，其特征在于，所述确定每个字符串的特征信息包括：

从预设编码表查询每个字符串的编码信息，将每个字符串的编码信息确定为所述字符串的表示信息；

根据所述多个字符串在所述文本内容中的位置依次对所述多个字符串进行编号，将各个字符串的编号确定为各个字符串的位置信息；

获取各个字符串在所述目标树中所属的节点，和各个节点到所述目标树的根节点的路径，将各个字符串所属的节点和路径确定为各个字符串的树结构信息。

8.一种网页信息提取装置，其特征在于，所述网页信息提取装置包括：

第一获取模块，用于获取目标网页；

转换模块，用于将所述目标网页转换为目标树；

第二获取模块，用于从所述目标树获取文本内容；

分词模块，用于对所述文本内容进行分词，得到多个字符串；

确定模块，用于确定每个字符串的特征信息，所述特征信息包括表示信息、位置信息和树结构信息；

组合模块，用于组合所述多个字符串的特征信息，得到所述目标网页的特征表示。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器，所述处理器用于执行存储器中存储的计算机程序以实现如权利要求1-7中任一项所述网页信息提取方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述网页信息提取方法。