[发明专利]网页信息的提取方法、装置、设备及存储介质

说明书

本发明公开了一种网页信息的提取方法、装置、设备及存储介质，以解决现有网页信息提取工作量大、维护困难、准确性低的问题。所述网页信息的提取方法包括：获取待提取网页中每一叶子节点的叶子节点路径；根据叶子节点路径，获取叶子节点路径对应的叶子节点的叶子节点信息和叶子节点的父节点的父节点信息，得到叶子节点的节点信息；根据每一叶子节点路径和每一节点信息，构建DOM树；对DOM树中的每一节点进行遍历，并利用预先训练获得的神经网络识别模型对遍历到的每一叶子节点进行分析，得到每一叶子节点的分析结果；根据每一叶子节点的分析结果，确定待提取信息的提取路径；根据提取路径，从待提取网页中提取待提取信息。

技术领域

本发明实施例涉及计算机网络技术领域，特别涉及一种网页信息的提取方法、装置、设备及存储介质。

背景技术

对全球广域网(World Wide Web，Web)数据挖掘来说，网页中承载的信息的提取通常作为数据挖掘前期的基础步骤。因此，如何从网页中高效准确地提取出高质量的信息，成为近年来研究的一个热点问题。

现有技术中，对网页信息的提取，一种常见的方式是基于预设的规则进行提取，具体是基于预设的规则构建不同可扩展标记路径语言(Extensible Markup Language Path，XPath)，即XPath路径模板，进而通过不同的XPath路径模板去提取对应的网页中的正文；另一种常见的方式是根据网页对应的超文本标记语言(Hyper Text Markup Language，HTML)中的全部节点构建文档对象模型(Document Object Model，DOM)，即全部节点的多叉树，进而根据预先构建的节点分析模型，从多叉树的根节点开始分析，最终将分析得出的不需要保留的节点，以及该节点下的所有节点的信息舍去，即剪枝，最终根据剪枝后的多叉树确定正文提取路径，并根据确定的正文提取路径对网页进行正文提取。

虽然，现有的这两种方式均可以实现对网页中正文的提取，但是面对海量的网页，基于预设的规则构建XPath路径模板的方式，由于没有统一的模板，就需要人工设定大量的XPath模板，并且为了使XPath路径模板能够适用于对应的网页，就需要根据网页信息的变动不停的修改，甚至重写模板，大大增加了人力成本，并且这种方式还会存在因为没有发现网页改动而没有对XPath路径模板及时修改，导致最终提取的信息不准确，或者直接无法进行信息提取；而对根据全部节点构建的多叉树进行正序(或者说前序)遍历，并利用预先构建的节点分模型对遍历到的根节点进行分析的方式，由于需要对全部节点进行分析，因而导致分析过程以及构建节点分析模型所需的节点信息量十分庞大，从而导致整个实现方案需要消耗大量的计算资源、图形处理器(Graphics Processing Unit，GPU)GPU资源，更会导致实现该方案的程序由于内存问题被系统杀死叫停，训练时间长、收敛慢的问题。

除此之外，对于很多正文信息存在于叶子节点的网页，采用上述第二种方式，若节点分析模型将某个中间节点误判为无需保留的节点，经过剪枝后将会把原本需要保留的节点去除，即原本需要保留的正文信息被去除，从而导致最终从网页中提取的正文存在不完整、准确度低的问题。

发明内容

本发明实施例的目的在于提供一种网页信息的提取方法、装置、设备及存储介质，旨在解决上述技术问题。

为解决上述技术问题，本发明的实施例提供了一种网页信息的提取方法，包括以下步骤：

获取待提取网页中每一叶子节点的叶子节点路径；

根据所述叶子节点路径，获取所述叶子节点路径对应的所述叶子节点的叶子节点信息和所述叶子节点的父节点的父节点信息，得到所述叶子节点的节点信息；

根据每一所述叶子节点路径和每一所述叶子节点的所述节点信息，构建文档对象模型DOM树；

对所述DOM树中的每一节点进行遍历，并利用预先训练获得的神经网络识别模型对遍历到的每一所述叶子节点进行分析，得到每一所述叶子节点的所述分析结果；