[发明专利]一种基于WVP_DOM树相似性的网页不变形噪音过滤方法

摘要

本发明属于网页主题提取领域，主要是一种基于WVP_DOM树相似性的网页不变形噪音过滤方法。本发明包括：对网页进行预处理；利用现有方法在WVP_DOM树中识别噪音信息并标记；遍历WVP_DOM树，具有相同的标签名称的相似结点为兄弟结点；如果结点是噪音结点且无兄弟结点，回溯到父结点，继续查找父结点的相似结点；如果结点是噪音结点且兄弟结点具有相似结构，则将结点删除，不会造成网页变形。本发明提出基于WVP_DOM树相似性的网页不变形噪音过滤方法，针对传统网页去噪方法易导致网页变形的缺点做出改进，通过查找噪音信息相似结构的方式，来解决网页去噪后网页变形这一问题。

主权项

1.一种基于WVP_DOM树相似性的网页不变形噪音过滤方法，其特征在于：(1)对网页进行预处理：将HTML网页文档转换成XHTML文档，排除文档中的格式及不规范错误；过滤掉网页中的脚本，注释及样式信息；将清洗后的主体内容构建成文档对象DOM树，标记出每个元素的视觉属性，属性包括垂直偏移，水平偏移，长和高信息，构建成基于视觉属性分析的文档对象WVP_DOM树；(2)利用现有方法在WVP_DOM树中识别噪音信息并标记；(3)遍历WVP_DOM树，其中会有兄弟结点具有相同的标签名称，称这样的结点具有相似结点，两者具有相似结构；(4)如果结点是噪音结点且无兄弟结点，回溯到父结点，继续查找父结点的相似结点；(5)如果结点是噪音结点且兄弟结点具有相似结构，则将结点删除，不会造成网页变形；(6)如果结点是噪音结点并且兄弟结点结构不相似并且所有兄弟结点均为噪音信息结点，则回溯到父结点，继续查找父结点的相似结点；(7)当步骤(4)(5)(6)均不满足时，若该结点标签为、标签，则认为具有相似结构，删除结点；否则该结点无相似结点，不删除该结点。