[发明专利]基于树权值的网页数据记录识别和抽取方法

说明书

技术领域

本发明涉及信息抽取领域，尤其涉及基于树权值的网页数据记录识别和抽取方法。

背景技术

随着互联网信息在时间度量下的发展呈指数级增长，网页中包含着越来越多人们感兴趣的资源和信息，但是伴随着信息量增大，信息的查找开始变得困难。由于信息的无序性，我们只能采用“全文检索”来查找所需的信息，但是包含所需信息的各类网页中充斥着大量的广告和链接等无关信息，使得我们无法快速且直观的获取到我们需要的有用信息，而当前依赖于人工获取信息的方式效率低下，用户所需的信息往往需要从多个不同的信息源获得，由于包含这些信息的不同网站存在结构上的差异性，要获取需要的信息必须以人工的方式对不同的网站进行查询分析处理，最后将结果组织成需要的格式保存到数据库中以供后续服务使用，这个过程是繁琐的，而且效率也很低下。因而如何能够准确高效的从海量HTML文档中抽取出用户感兴趣的内容变得越来越重要，基于树权值的网页数据记录识别和抽取方法正是在这种背景下被提出来的。

网页信息抽取技术是信息抽取技术在互联网应用领域的一个用例。网页信息抽取是将分布在互联网上的海量的结构化，半结构化或者自由的HTML文本中的特定信息抽取出来，并转换为统一的结构化表现形式。互联网网页信息抽取有别于传统信息抽取的特点，具有海量数据、结构差异性、动态变化性、非结构化数据、语义信息缺乏。

网页信息抽取中负责将信息从网页中抽取出来的程序被上被称为包装器(Wrapper)，它是从半结构化HTML文本中抽取信息并转化为统一的结构化信息后存储起来的程序。它将信息抽取自动化，对面向海量的网页信息时特别有用。根据生成方法的原理可以分为机器方法、自然语言理解方法、本体方法、HTML方法等等。基于HTML结构特征的方法是目前网页信息抽取技术中研究的最多的，也是发展的最好的技术方法。基于HTML结构特征的方法充分利用了HTML文本所具有的结构特征来进行数据抽取。在数据抽取之前，先将HTML文本转换为一个对应的标签树，然后通过自动或者半自动的方式生成抽取规则，并将规则应用于标签树上进行数据抽取。当然，在这种方法的研究上也存在着一些问题，如下：

1.现在的研究大多是将网页中全部的HTML文本对应的标签树作为模板，这显然是低效率的，而且实际上很多的文本节点也可能包含HTML标签，比如文本节点中的很多文本会带有颜色或字体等装饰性标签，还有一些文本具有超文本链接，而内容中也可能包含图片和表格等，这些都属于无关信息。

2.有一些文本节点在网页集中是重复出现的，这些节点不应该被作为关键内容抽取，而是应该作为模板的一部分。

3.对于现存抽取方法中描述的树比较方法，抽取的对象网页集一般是小规模的，对于大规模而言，效率会很低下。

4.对于页面的结构比较方式通常需要两个页面以上，如果只有单一页面则无法抽取出模板。

这几个方面没有被考虑是由于网页的复杂和海量这两个特征决定的，要在这样复杂而海量的网页集中保证抽取准确率和召回率都有较高的结果的同时，在抽取时间上也要确保有较快的速度，这在实际操作中是十分必要的。因而对于一个高准确度和高效率的网页内容提取方法是迫切需要的。

发明内容

本发明主要针对现有的网页数据识别和抽取方法准确度和效率低，不能有效的在大量网页抽取出需要的信息；提出基于树权值的网页数据记录识别和抽取方法，根据HTML网页的内容的树结构特点，通过对抓取到的网页进行处理转化为标签树结构，自底而上的为每个树节点赋上权值，使得不同层次的节点具有不同的权值，然后根据相似子树集和位置连续性来识别出数据记录区域，然后根据包含数据记录的标签树集进行树对准操作生成基准树作为抽取模板，可以得到高效率和高准确度的结果。

为了解决上述技术问题，本发明的技术方案如下：

1.基于树权值的网页数据记录识别和抽取方法，包括如下步骤：

(1)网页处理和转化；

(2)数据记录识别；

(3)数据记录对准和抽取；

(4)数据存储；

所述网页处理和转化包括如下步骤：

11)对抓取的网页依据标签的作用进行分类后构造标签树；

12)对所述标签树的每个树节点按照如下公式赋予权值：