[发明专利]基于树权值的网页数据记录识别和抽取方法

摘要

本发明公开了基于树权值的网页数据记录识别和抽取方法，包括如下步骤： 网页处理和转化；数据记录识别；数据记录对准和抽取；数据存储；根据HTML网页的内容的树结构特点，通过对抓取到的网页进行处理转化为标签树结构，自底而上的为每个树节点赋上权值，使得不同层次的节点具有不同的权值，然后根据相似子树集和位置连续性来识别出数据记录区域，然后根据包含数据记录的标签树集进行树对准操作生成基准树作为抽取模板，可以得到高效率和高准确度的结果。

主权项

基于树权值的网页数据记录识别和抽取方法，其特征在于，包括如下步骤：(1)网页处理和转化；(2)数据记录识别；(3)数据记录对准和抽取；(4)数据存储；所述网页处理和转化包括如下步骤：11)对抓取的网页依据标签的作用进行分类后构造标签树；12)对所述标签树的每个树节点按照如下公式赋予权值： W = λ depth + Σ i = 1 n Sub W i 其中SubWi为子树节点权值，λ为权值调节参数，depth为树的深度，若某节点的权值为0，则认为该节点是无关节点，若树节点为无关标签节点，所述无关标签包括超链接标签，描述显示特点的标签，则该树对应的λ＝0；若树节点为叶子节点且若该树节点为文本节点或图片节点则该树节点权值W＝1，若为其他类型则该树节点权值W＝0；所述数据记录识别包括如下步骤：13)将步骤12)经过赋予权值后的标签树作为输入树输入数据记录模块，所述数据记录模块首先访问模板树库，根据所述模板树库中的模板树的必选子树集权值进行比较查找，若所述输入树包含必选子树集权值，则该输入树能用该模板树进行数据记录识别，获取相应的数据记录区域，若在所述模板树库中找不出对应模板树，则进行自适应的识别数据记录，通过对自身连续区域的相似子树的判断识别出数据记录区域，获取相应的数据记录区域；所述数据记录对准和抽取包括如下步骤：14)在步骤13)获取的包含数据记录区域数组中取权值最大的标签树作为基准树Tb，对于数据记录区域数组中的剩下每棵标签树Ti，根据先权值后标签，权值按从大到小顺序的方式找出标签树Ti下所有能够对准所述基准树Tb的节点，若找出一个节点Ti[j]在基准树Tb下存在权值大于或者相等阀值K，并且节点标签一致的节点Tb[k]，那么将认为节点Ti[j]是可以对准的；如果不存在能够对准的节点则执行插入操作将节点Ti[j]插入到所述基准树Tb中使得对所述基准树Tb进行调整，调整后的基准树Tb将用于数据记录区域数组中其他标签树的对准，最后产生最终的基准树Tb；所述数据存储包括如下步骤：15)将标签树集合与模板树进行数据匹配获取信息，将结果以数据库的形式进行保存。