[发明专利]网页信息提取方法及相关设备

说明书

本发明提供一种网页信息提取方法、装置、计算机设备及计算机可读存储介质。所述网页信息提取方法获取目标网页；将所述目标网页转换为目标树；从所述目标树获取文本内容；对所述文本内容进行分词，得到多个字符串；确定每个字符串的表示信息、位置信息和树结构信息，将表示信息、位置信息和树结构信息记为特征信息；组合所述多个字符串的特征信息，得到所述目标网页的特征表示。本发明提升了网页信息提取的准确性。

技术领域

本发明涉及数据处理技术领域，具体涉及一种网页信息提取方法、装置、计算机设备及计算机可读存储介质。

背景技术

通常，对网页内容进行分析前，需要对网页进行信息提取。目前对网页进行信息提取时，仅提取网页的文本信息，未提取网页中的文本的结构信息。网页中的文本的结构信息很可能对分析网页内容有重要的作用。提取不准确的网页特征，将影响对网页内容的分析。

如何提升网页信息提取的准确性成为待解决的问题。

发明内容

鉴于以上内容，有必要提出一种网页信息提取方法、装置、计算机设备及计算机可读存储介质，其可以根据用户在各个网站的注册信息抽取出用户的标签，用抽取的用户的标签描述网页信息提取。

本申请的第一方面提供一种网页信息提取方法，所述网页信息提取方法包括：

获取目标网页；

将所述目标网页转换为目标树；

从所述目标树获取文本内容；

对所述文本内容进行分词，得到多个字符串；

确定每个字符串的特征信息，所述特征信息包括表示信息、位置信息和树结构信息；

组合所述多个字符串的特征信息，得到所述目标网页的特征表示。

另一种可能的实现方式中，所述获取目标网页包括：

获取所述目标网页的网页地址；

利用网页爬取工具下载所述网页地址对应的HTML文本。

另一种可能的实现方式中，所述将所述目标网页转换为目标树包括：

利用网页解析工具通过深度优先遍历方法将所述目标网页转换为所述目标树。

另一种可能的实现方式中，在所述将所述目标网页转换为目标树之前，所述网页信息提取方法还包括：

对所述目标网页进行规范化处理。

另一种可能的实现方式中，在所述从所述目标树获取文本内容之前，所述网页信息提取方法还包括：

对所述目标树进行剪枝预处理。

另一种可能的实现方式中，所述文本内容包括中文文本，所述对所述文本内容进行分词包括：

结合自然语言处理算法对所述中文文本进行分词；或

训练基于BERT的分词模型，通过训练后的分词模型对所述中文文本进行分词。

另一种可能的实现方式中，所述确定每个字符串的特征信息包括：

从预设编码表查询每个字符串的编码信息，将每个字符串的编码信息确定为所述字符串的表示信息；

根据所述多个字符串在所述文本内容中的位置依次对所述多个字符串进行编号，将各个字符串的编号确定为各个字符串的位置信息；

获取各个字符串在所述目标树中所属的节点，和各个节点到所述目标树的根节点的路径，将各个字符串所属的节点和路径确定为各个字符串的树结构信息。

本申请的第二方面提供一种网页信息提取装置，所述网页信息提取装置包括：