[发明专利]一种基于WVP_DOM树相似性的网页不变形噪音过滤方法

权利要求书

1.一种基于WVP_DOM树相似性的网页不变形噪音过滤方法，其特征在于：

(1)对网页进行预处理：将HTML网页文档转换成XHTML文档，排除文档中的格式及不规范错误；过滤掉网页中的脚本，注释及样式信息；将清洗后的主体内容构建成文档对象DOM树，标记出每个元素的视觉属性，属性包括垂直偏移，水平偏移，长和高信息，构建成基于视觉属性分析的文档对象WVP_DOM树；

(2)利用现有方法在WVP_DOM树中识别噪音信息并标记；

(3)遍历WVP_DOM树，其中会有兄弟结点具有相同的标签名称，称这样的结点具有相似结点，两者具有相似结构；

(4)如果结点是噪音结点且无兄弟结点，回溯到父结点，继续查找父结点的相似结点；

(5)如果结点是噪音结点且兄弟结点具有相似结构，则将结点删除，不会造成网页变形；

(6)如果结点是噪音结点并且兄弟结点结构不相似并且所有兄弟结点均为噪音信息结点，则回溯到父结点，继续查找父结点的相似结点；

(7)当步骤(4)(5)(6)均不满足时，若该结点标签为<td>、<tr>标签，则认为具有相似结构，删除结点；否则该结点无相似结点，不删除该结点。