[发明专利]一种网页相似度计算方法及装置

说明书

技术领域

本发明涉及计算机网络领域，尤其涉及一种网页相似度计算方法及装置。

背景技术

起初，网页相似度是指两个网页之间相同部分的代码字节数占两个网页中总字节数的百分比，通过相似度比较可以实现页面按内容筛选，降低网页相似度是网站优化中重要的一步。随着互联网技术的发展和新的检测需求出现，对于网页相似的计算并不局限于字节码的比对。web2.0的发展至今，网页开发转向前端和后端明确区分的程度，前端集中于页面内容展示形式，在浏览器端通过脚本和布局实现，而后端侧重业务逻辑，给前端提供数据请求接口。现在的页面结构已经跟传统页面区别较大，通过字节码比对只能解决部分需求，并不能胜任在其他的应用场合，如网页信息自动抽取、仿冒网站检测、网页篡改检测等，针对这些问题提出了基于DOM树的网页相似度比对的概念。

字节码比对可以理解为将网页视为一维的字节流，而基于DOM树的网页相似度比对，则是将HTML源码进行渲染和解析之后生成的二维树形结构的对比，相对于字节码比对，DOM树比对更适合于网页信息自动抽取、网页篡改检测等应用。

图1展示了网页的DOM树，执行相似性比对时会计算两棵树形的相似关系，如：从A页面对应的DOM树变为B页面对应的DOM树需要的最少步数、两颗树的深度及子树相似度等。

通过比对DOM树可以直观的比对页面结构，比较子树的相似性，识别相似区域，通过定义正文特征，从而达到文本自动抽取。但无论是字符流比对还是DOM比对都存在一个问题，例如，图1所示的两颗树形可以在浏览器中显示同样的页面结构，当仅根据DOM树或者字符流比对两个网页的相似度时就会存在判断不准的问题。

发明内容

本发明实施例提供一种网页相似度计算方法及装置，以解决现有的比对两个网页的相似度时判断不准的问题。

第一方面提供一种网页相似度计算方法，包括：

生成待测网页对应的基于视觉结构的第一分块特征向量，其中所述第一分块特征向量包括第一分块位置特征向量和第一分块内容特征向量；将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对，获得待测网页的相似度。

根据第一方面，在第一种可能的实现方式中，所述生成待测网页对应的基于视觉结构的第一分块特征向量，包括：获得所述待测网页对应的DOM树；根据所述DOM树获得VTree；根据预设的筛选条件筛选VTree，获得第一分块位置特征向量；根据应用环境获得第一分块内容特征向量，由所述第一分块位置特征向量和所述第一分块内容特征向量获得第一分块特征向量。

根据第一方面，在第二种可能的实现方式中，所述将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对之前，还包括：获得所述预设网页对应的DOM树；根据所述DOM树获得VTree；根据预设的筛选条件筛选VTree，获得第二分块位置特征向量；根据应用环境获得第二分块内容特征向量，由所述第二分块位置特征向量和所述第二分块内容特征向量获得第二分块特征向量。

根据第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述由所述第二分块位置特征向量和所述第二分块内容特征向量获得第二分块特征向量之后，还包括：对所述第二分块特征向量建立索引；根据所述索引建立特征向量索引库。相应地，所述将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对，获得待测网页的相似度包括：将所述第一分块特征向量和所述特征向量索引库中的第二分块特征向量通过查找索引进行比对，获得待测网页的相似度。

根据第一方面，在第四种可能的实现方式中，所述获得待测网页的相似度，包括：

获得待测网页的分块数N和预设网页的分块数N_a；

通过所述第一分块特征向量和所述第二分块特征向量匹配的数目获得所述待测网页和所述预设网页匹配的分块数n_a；

计算待测网页的相似度，其中所述待测网页的相似度由公式(1)获得；

S＝(n_a/N_a)*(max(N,N_a)/min(N,N_a))公式(1)；

其中，S为所述待测网页的相似度；max(N,N_a)为N和N_a中较大者；min(N,N_a)为N和N_a中较小者。

第二方面提供一种网页相似度计算装置，包括：