[发明专利]一种互联网无价值网页的挖掘方法

权利要求书

1.一种互联网无价值网页的挖掘方法，其特征在于，包括：

步骤1、整理核心无效词汇；

步骤2、使用核心无效词汇，识别出所有的疑似无效短语；

步骤3、统计分析疑似无效短语集合；

步骤4、根据统计分析结果，识别无效页面。

2.如权利要求1所述的方法，其特征在于，步骤1中，具体包括：一个短句是无效短语的必要条件是含有最普遍出现的核心无效词汇。

3.如权利要求2所述的方法，其特征在于，步骤2中，具体包括：对于基于单页面级别的无效页面挖掘，在打开的网页，建立DOM树，遍历纯文本节点，纯文本长度阀值在10字节和20字节之间且含有至少一个核心无效词汇，则该纯文本称为疑似无效短语。

4.如权利要求2所述的方法，其特征在于，步骤2中，具体包括：对于基于站点级别的无效页面挖掘：

在打开的网页，建立DOM树，遍历纯文本节点，纯文本长度阀值在10字节和20字节之间且含有至少一个核心无效词汇，则该纯文本称为疑似无效短语；

将疑似无效短语和该网页的URL构成一个映射对：<疑似无效短语，URL>。

5.如权利要求3所述的方法，其特征在于，步骤3中，具体包括：对于基于单页面级别的无效页面挖掘，统计分析疑似无效短语集合。

6.如权利要求4所述的方法，其特征在于，步骤3中，具体包括：对于基于站点级别的无效页面挖掘：

将<疑似无效短语，URL>聚类：以疑似无效短语为键值，将URL映射到一个簇内，形成一个含有相同疑似无效短语的URL集合聚簇；

统计分析<疑似无效短语，URL集合>的聚簇：URL集合按照URL字典序排序，含有最长公共子串的一串URL的数量超过阀值200个，并且占聚簇的比重超过阀值70%，构成一个<URLPattern，无效短语>，其中，URLPattern是最长公共子串；

根据统计分析的聚簇得到一系列无效模式对<URLPattern，无效短语>。

7.如权利要求6所述的方法，其特征在于，所述最长公共子串URLPattern的长度至少是协议头的长度与站点长度之和，且必须超过阀值12字节。

8.如权利要求5所述的方法，其特征在于，步骤4中，具体包括：对于基于单页面级别的无效页面挖掘，当疑似无效短语集合的统计分析结果为以下之一时，即可判页面为无效页面：

疑似无效短语集合总数量超过阀值20，即可判为无效页面；

疑似无效短语集合总数量介于5和20之间，且不同的疑似无效短语数量超过阀值5，即可判为无效页面。

9.如权利要求6所述的方法，其特征在于，步骤4中，具体包括：对于基于站点级别的无效页面挖掘：

加载无效模式对<URLPattern，无效短语>；

一个新网页URL，如果匹配URLPattern，且页面内一个独立的DOM树纯文本节点含有与URLPattern配对的无效短语，这个网页即可判为无效页面。