[发明专利]结构变化网页的自适应数据抽取方法

说明书

本发明提供一种结构变化网页的自适应数据抽取方法，包括：采集网页抽取数据，判断所述网页抽取数据是否异常；当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；根据所述已抽取的内容，获取已抽取内容的核心语义；将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取；本发明提高了自动化网页抽取方法抗风险能力，具有更高的稳定性，可以应对复杂多变的网络环境。

技术领域

本发明涉及计算机应用领域，尤其涉及一种结构变化网页的自适应数据抽取方法。

背景技术

网页中的数据结构一般是隐藏于各个网页中，同结构的网页中拥有大量的一类数据，现有技术中已经有很多网页数据提取方法，其中，最简单的方法是针对每种类型的网站编写特定的模板，但是这种方式的工作量巨大，为了减少工作量，在2010年，东北大学的聂铁铮等3人，发表了——基于可扩展标记语言查询的网页数据抽取方法，这种方式使得网页数据抽取的工作量减少，自动化提高，在2014年，南京大学的黄宜华等人发表了——一种全程化的Web信息抽取集成方法，该方法通过分析网页结构，解析数据，使得网页提取的自动化与准确率进一步提高。

目前，虽然网页数据自动化提取方法已经成熟，但是还没有专门针对自动化网页抽取方法抗风险能力和稳定性的解决方案，一旦同一类网页数据结构在提取数据的过程中发生改变，那么之前自动生成的数据抽取方法将变得毫无意义，因此需要一种新的技术手段，可以提高自动化网页抽取方法抗风险能力和稳定性。

发明内容

鉴于以上所述现有技术的缺点，本发明提供一种结构变化网页的自适应数据抽取方法，以解决上述技术问题。

本发明提供的结构变化网页的自适应数据抽取方法，包括：

采集网页抽取数据，判断所述网页抽取数据是否异常；

当网页抽取数据出现异常时，选取若干个出现异常前的已抽取网页，并获取其已抽取的内容；

根据所述已抽取的内容，获取已抽取内容的核心语义；

将所述核心语义与出现异常后的当前网页每个节点的信息进行相似度对比，获取最匹配节点；

重复上述步骤，直至完成选取的所有已抽取网页与对应的当前网页的内容的相似度判断；

根据相似度判断结果，确定所有与已抽取的内容对应的当前网页中的内容位置，进而获取采集路径，完成自适应数据抽取。

可选的，通过数据抽取规则获取采集路径，所述数据抽取规则包括原始文档对象模型树从某个节点到采集信息节点的路径信息、执行路径时每一步的操作信息以及原始文档对象模型的属性信息。

可选的，获取数据抽取的绝对路径，对所述原始文档对象模型树进行重构，

当在所述绝对路径中获取到具有唯一身份标识的的类或对象时，其特征在于，则选取所述唯一性的类或对象对应的节点作为采集路径的起始点，进行数据抽取，否则，选取所述绝对路径作为数据抽取的路径。

可选的，预先设置抽取异常阈值，获取有效数据量与需要抽取数据的比值，当所述有效数据量与需要抽取数据的比值低于所述阈值时，判定数据抽取异常。

可选的，预设若干级预警等级，当所述有效数据量与需要抽取数据的比值低于所述阈值时，则预警等级升高一级，当所述有效数据量与需要抽取数据的比值高于所述阈值时，则降低一级，当预警等级达到最高级时，则判定数据抽取异常。

可选的，所述阈值通过如下公式获取：

e^-λ(n-1)