[发明专利]基于动态学习框架的全自动网页结构化数据抽取方法

说明书

技术领域

本发明涉及一种基于动态学习框架的全自动网页结构化数据抽取方法，属于计算机应用技术领域。

背景技术

近年来，随着互联网规模呈现爆炸性的增长，网络上的信息量也以指数级的速度在增长。在这数量惊人的网页中有一类网页是用来向用户呈现一个实体，一个网页中包括该实体的属性和属性值，这些属性和属性值也被称为结构化的数据。该类网页在互联网中是非常常见，尤其近十年来，电子商务飞速发展，已经深刻影响了世界的商业模式以及人们的消费模式。网络上出现了成千上万的在线商店，这些在线商店以网页的形式呈现出各种各样的商品供消费者选择，消费者不再需要花费大量的时间和精力去实体商店选择自己需要的商品，只需要坐在家里点击鼠标、浏览网页就可以方便地选择和购买自己所需要的商品。这些商品网页中呈现的正是一个实体，该实体往往会包含若干属性和属性值，例如，对于一个销售图书的网站的网页，该网页中往往就会包含一本书的标题、作者、出版商以及ISBN号码等属性以及其对应的属性值等信息。

网页结构化数据是指数据存储在网站后台结构化数据库中，体现在网页中具有结构化特征的数据，如商品网页中描述商品的各种属性及属性值。

虽然网络大大方便了人们进行商品购买，但是，面对网络上如此巨大的网页数量，要人工对这些信息进行检索、分析和比较仍然是一个不可能完成的任务。当然，目前的搜索引擎可以满足人们一定程度的需求。例如，利用搜索引擎，人们可以根据关键字来查找某一种商品，并可以得到若干个满意的结果。但是，搜索引擎呈现出的结果也仍然是网页，它还需要人工地对返回的结果进行分析和比较，计算机则不能利用网页中包含的商品属性信息；另外，更重要的是，搜索引擎返回的结果是以关键字为基础的，关键字以外的与该商品相关的信息则在查找时候就会被忽略，因此，以关键字为基础的普通搜索引擎的搜索灵活性就大为降低。

为了能够让计算机自动地对网页中的结构化数据能够进行有效的检索和比较，首先就要能够从网页中自动地抽取出结构化数据。近些年来，关于网页中结构化数据的抽取已经有了大量的相关研究，也取得了相当有意义的进展。如早期人工为一个网站中的网页编写包装器的方法、将机器学习中监督学习算法用于包装器学习的方法、基于概率的产生模型分析和标注网页中信息的方法等。但这些方法都需要大量的人工标注工作。

在2011年的SIGIR会议上，Qiang Hao等人在文献《From One Tree to a Forest:a Unified Solution for Structured Web Data Extraction》（Hao Q,Cai R,Pang Y,et al.From One Tree to a Forest:a Unified Solution for Structured Web Data Extraction Categories and Subject Descriptors[J].SIGIR,2011:775-784.）提出一个统一的网页结构化数据抽取方法。该方法主要有两个目标：1、能够足够灵活的处理任何一个垂直域（vertical）的网页（如图书为一个典型的垂直域），而不需要人工进行调整；2、对于一个垂直域的网页，只需要人工标注一个网站的若干网页就可以适应属于该类别的所有网站的网页信息抽取。该方法通过两种约束不强但普遍适应的特性来描述垂直域知识(vertical knowledge)，包括属性语义(attribute-specific semantics)和属性间布局关系(inter-attribute layout relationships)。这些特性可以适用于任何垂直域的网页，并且因为较弱的约束而不会产生过度拟合的情况。另外，该方法同时借鉴了之前网页信息抽取的两种思路：1、网页中有效信息本身的内容和网页的布局信息；2、相似网页之间共享相同的模板。因此称该方法为一个统一的(unified)方法。

但该方法存在以下缺点：

1.面对实际的网络中众多的垂直域，若要使这些方法对之全部适用，就需要人工标注数量同样多的网站。

2.对于一个垂直域，只能抽取人工标注过的属性及其属性值，不能有效抽取在标注网页中未出现的属性。

3.该方法训练得到的模型是固定的，不能随着网页数量的增加和动态变化而改变，不适用于目前网页快速更新换代的现状。

发明内容

本发明的目的是为了解决已有结构化数据抽取技术存在的不足，提出一种基于动态学习框架的全自动网页结构化数据抽取方法。

本发明的目的是通过下述技术方案实现的。