[发明专利]基于网页内容的网页清洗方法

摘要

为解决清洗网页的通用性问题，本发明提供一种基于网页内容的网页清洗方法，该方法不对网页的html标签结构加以假设，而将发明点放在网页的文本内容上，也就是不包括标记的那部分元素体；该方法先从网上下载待清洗的网页，将网页分解为在html中作为超链接出现的url的列表，以及文本型元素体的列表；再从网上找到与待清洗网页具有相似网页结构与内容的网页，对于给定的两张网页，如果某一文本型元素体同时在这两张网页中出现，则将待清洗网页文本型元素体删除，得到清洗后的网页文本内容，达到清洗网页的效果。优点是，与网页结构无关，能够适应于现在越来越多的自定义网页的处理需要，具有很强的通用性。

主权项

1、一种基于网页内容的网页清洗方法，其特征在于：该方法包括网页下载部件，网页选择部件，网页比较部件以及网络适配器；网页下载部件、网页选择部件和网页比较部件工作顺序是：(1)网页下载部件：根据输入的url，从网上下载待清洗的网页，将网页分解为在html中作为超链接出现的url的列表，以及文本型元素体的列表；(2)网页选择部件：从网上找到与待清洗网页具有相似网页结构与内容的网页，即在待清洗网页的url列表和与待清洗网页有一级超链接关系的网页的url列表中，找到一个与待清洗网页的url最相似的url；(3)网页比较部件：对于前述给定的两张网页，如果某一文本型元素体同时在这两张网页中出现，将待清洗网页未被删除的文本型元素体用换行符连接，删除该文本型元素体，得到清洗后的网页文本内容，达到清洗网页目的。