[发明专利]一种基于小样本半监督学习的网页数据抽取方法

摘要

本发明公开了一种基于小样本半监督学习的网页数据抽取方法，包括如下步骤：针对来自同一网页模板的相似性网页，选取一组样本网页，由用户手工选择并标注出需要抽取的数据项，称为标注数据项；根据标注数据项在DOM树上所对应的节点，称为标注节点，根据标注数据项在对应DOM树上的不同特征，构造一组关于该标注节点的初始候选特征集合；利用半监督式学习方法，确定初始候选特征集合中的最小关联性特征，推导出对该数据项泛化的抽取规则；对一个网页上拟抽取的每个数据项都进行规则推导，得到该网页上关于这组数据项的抽取规则；将抽取规则作用于相似性网页，抽取出一批数据。本发明能完成网页数据抽取规则的生成和网页数据的自动化抽取处理。 

主权项

一种基于小样本半监督学习的网页数据抽取方法，包括如下步骤：（1）针对来自同一网页模板的相似性网页，选取一组样本网页，在其中一至三个样本网页上，由用户手工选择并标注出同一个需要抽取的数据项，该数据项称为标注数据项；（2）根据所述标注数据项在DOM树上所对应的节点，所述节点称为标注节点，根据标注数据项在对应的DOM树上的不同特征，构造一组关于该标注节点的初始候选特征集合；（3）基于所述样本网页，利用半监督式学习方法，采用第一算法确定初始候选特征集合中的最小关联性特征，推导出一个对该数据项具有泛化能力的抽取规则；所述具有泛化能力的抽取规则是指：当一个数据项在不同网页上出现一些结构变化的情况下，抽取规则仍然能稳定正确的抽取出该数据项；（4）对一个网页上拟抽取的每一个数据项都进行步骤（3）所述的规则推导，得到该网页上关于这组数据项的一组抽取规则；（5）将这组推导出的抽取规则作用于一批待抽取数据的相似性网页，最终抽取出一批数据项。