[发明专利]正文缺失网页的识别方法及装置

说明书

技术领域

本发明涉及通信领域，具体而言，涉及一种正文缺失网页的识别方法及装置。

背景技术

随着互联网的高速发展，互联网内容的极大丰富，互联网成为人们获取信息的重要途径。然而互联网中存在一些缺少有效信息的网页，其特征为该网页包含大量广告、导航等文字，而作为网页主体的正文区域为空白或仅有几个字，这样的网页通常被称为正文缺失网页。正文缺失网页含有正文无关的广告，导航等文字，可能与用户的查询相匹配而被搜索引擎排在较靠前的位置，然而该类网页无法为用户提供有效的信息，因此，搜索引擎有必要识别正文缺失网页，降低该类网页的排名，提高用户体验。

识别正文缺失网页，首先要准确识别网页的正文内容，若正文内容过短，则识别的网页为正文缺失网页。

相关技术中，网页正文识别技术主要包括基于模板、基于统计、基于网页分块、基于语义、基于页面对比等方法。其中，基于模板的方法根据抽取规则从网页中提取正文内容，由于网页的多变性，一组规则往往只能适用于一个信息源，该方法的优点是准确率高，但需要大量的人工参与，在大规模数据的场景下不适用。基于统计的方法计算网页中各个标签的文字数、标签密度、链接密度等指标，依据这些指标判断正文节点，方法简单，通用性好，但是识别准确率有限。基于网页分块的方法首先根据table标签、DOM树、布局和样式信息将网页分块，计算各个网页块的信息熵或聚合度等指标，从而找到网页的正文块，对于规范整洁的网页效果较好，但对于布局复杂或不规则的低质量网页，识别效果不佳。基于语义的方法通常是计算标题与各个标签内容的相似度，相似度高的标签被认为是正文所在的标签，该类方法优点是识别的准确率较高，但在标题不规范或正文区域相关性较低的情况下，该方法无法识别正文。基于页面对比的方法认为同一个网站同级目录下的网页是由同一个模板生成的，每次取同级目录下的两个网页，去除两个网页内容重复的部分，即正文无关的模板内容，得到剩余的正文内容。

现有的正文识别方法主要针对包含正常正文的网页，根据正文的文字或语义计算相关的指标，在正文缺失的情况下，这些指标并不适用。

而页面对比的方法不需要计算正文的相关指标，可以用于正文缺失网页的识别，然而许多网站同级目录下的网页并非由同一模板生成，而同一模板生成的网页并不放在同一目录下，直接影响了页面对比的有效性。此外，上述方法均未考虑正文缺失网页的特点，会将一些特殊的网页，如图片页、短小表格页等识别为正文缺失网页。综上所述，基于上述识别正文缺失网页方法存在的缺陷，有必要提出一种有效的正文缺失网页的识别方法。

发明内容

本发明旨在提供一种正文缺失网页的识别方法及装置，以至少解决相关技术中，许多网站同级目录下的网页并非由同一模板生成，而同一模板生成的网页并不放在同一目录下，直接影响了页面对比的有效性的问题。

根据本发明的一个方面，提供了一种正文缺失网页的识别方法，包括：计算同一站点下所有网页的模板指纹；根据所述模板指纹对所述所有网页进行分类，其中，将具有相同模板指纹的网页划分为同一类；在分类后的各类网页中将每两个网页进行比对，在各个网页中将与该网页对比的网页中相同的内容去除，获取所述各类网页中各个网页中剩余的内容；根据所述各个网页中剩余的内容所对应的页面特征识别该网页中正文是否缺失。

根据本发明的另一方面，提供了一种正文缺失网页的识别装置，包括：计算模块，用于计算同一站点下所有网页的模板指纹；分类模块，用于根据所述模板指纹对所述所有网页进行分类，其中，将具有相同模板指纹的网页划分为同一类；比对模块，用于在分类后的各类网页中将每两个网页进行比对，在各个网页中将与该网页对比的网页中相同的内容去除，获取所述各类网页中各个网页中剩余的内容；识别模块，用于根据所述各个网页中剩余的内容所对应的页面特征识别该网页中正文是否缺失。

通过本发明，进行多页面对比之前首先对同网站的所有页面计算其模板指纹，依据模板指纹进行聚类，保证了相似的页面属于同类，从而在相似页面之间进行对比，保证了多页面对比方法的有效性，能够更准确的识别正文内容。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的正文缺失网页的识别方法的流程图；

图2是根据本发明优选实施例的正文缺失网页的识别方法的流程图；

图3是根据本发明优选实施例的DOM解析需要获取的四类标签的示意图；