[发明专利]一种互联网无价值网页的挖掘方法

说明书

技术领域

本发明涉及互联网搜索领域，特别是涉及一种互联网无价值网页的挖掘方法。

背景技术

互联网海量的网页信息，网页的质量参差不齐，搜索引擎要爬取、存储、索引。识别、过滤无价值的网页，可节省搜索引擎的存储，提高索引的数据质量，改善用户的搜索体验。

互联网网页，尤其是生活服务、电子商务等时效性较强的网页，容易变成无效页面，这类页面对用户没有价值，影响用户的搜索体验。

无效页面，是指网页内容中含有“无效短语”的页面。而无效短语，是指用户的核心检索需求没有满足、没找到、不存在等内容的短语。例如，“该商户点评暂停收录”、“暂时还没有任何榜单”、“暂时还没有任何内容”、“暂时还没有任何相册”、“该商户已关闭”等无效短语。网页中含有此类短语，均视作无效页面，如图2、图3、图4、图5所示。

传统的无效页面挖掘方法，首先人工整理收集一批无效短语；对每一个爬取的网页，所有的无效短语都参与匹配，匹配上至少一个无效短语即判定为无效页面。这种传统的人工整理方法虽然简单，但存在明显的不足：人工方法准确率低，误判率高（达到20%到30%）；浪费人力资源；整理的无效短语数量有限；不能实现自动化挖掘。

所以，如何保证高准确率、高召回率的挖掘无效短语、挖掘无效页面，是搜索引擎必须解决的数据质量问题。

发明内容

本发明提供一种互联网无价值网页的挖掘方法，通过对网页聚类、统计分析的手段，解决了互联网网页中无效页面的高准确率、高召回率、自动化的挖掘问题，从而提高挖掘速度、改善搜索引擎的用户体验。

为了解决以上技术问题，本发明提供一种互联网无价值网页的挖掘方法，包括：

步骤1、整理核心无效词汇；

步骤2、使用核心无效词汇，识别出所有的疑似无效短语；

步骤3、统计分析疑似无效短语集合；

步骤4、根据统计分析结果，识别无效页面。

进一步地，步骤1中，具体包括：一个短句是无效短语的必要条件是含有最普遍出现的核心无效词汇，

进一步地，步骤2中，具体包括：对于基于单页面级别的无效页面挖掘，在打开的网页，建立DOM树，遍历纯文本节点，纯文本长度阀值在10字节和20字节之间且含有至少一个核心无效词汇，则该纯文本称为疑似无效短语。

进一步地，步骤2中，具体包括：对于基于站点级别的无效页面挖掘：在打开的网页，建立DOM树，遍历纯文本节点，纯文本长度阀值在10字节和20字节之间且含有至少一个核心无效词汇，则该纯文本称为疑似无效短语；将疑似无效短语和该网页的URL构成一个映射对：<疑似无效短语，URL>。

进一步地，步骤3中，具体包括：对于基于单页面级别的无效页面挖掘，统计分析疑似无效短语集合。

进一步地，步骤3中，具体包括：对于基于站点级别的无效页面挖掘：

将<疑似无效短语，URL>聚类：以疑似无效短语为键值，将URL映射到一个簇内，形成一个含有相同疑似无效短语的URL集合聚簇；

统计分析<疑似无效短语，URL集合>的聚簇：URL集合按照URL字典序排序，含有最长公共子串的一串URL的数量超过阀值200个，并且占聚簇的比重超过阀值70%，构成一个<URLPattern，无效短语>，其中，URLPattern是最长公共子串；

根据统计分析的聚簇得到一系列无效模式对<URLPattern，无效短语>。

进一步地，所述最长公共子串URLPattern的长度至少是协议头的长度与站点长度之和，且必须超过阀值12字节。

进一步地，步骤4中，具体包括：对于基于单页面级别的无效页面挖掘，当疑似无效短语集合的统计分析结果为以下之一时，即可判页面为无效页面：

疑似无效短语集合总数量超过阀值20，即可判为无效页面；

疑似无效短语集合总数量介于5和20之间，且不同的疑似无效短语数量超过阀值5，即可判为无效页面。

进一步地，步骤4中，具体包括：对于基于站点级别的无效页面挖掘：

加载无效模式对<URLPattern，无效短语>；

一个新网页URL，如果匹配URLPattern，且页面内一个独立的DOM树纯文本节点含有与URLPattern配对的无效短语，这个网页即可判为无效页面。