[发明专利]一种网页相似度计算方法及装置

权利要求书

1.一种网页相似度计算方法，其特征在于，包括：

生成待测网页对应的基于视觉结构的第一分块特征向量，其中所述第一分块特征向量包括第一分块位置特征向量和第一分块内容特征向量；

将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对，获得待测网页的相似度；

其中，获得待测网页的相似度的步骤包括：

获得待测网页的分块数N和预设网页的分块数Na；

通过所述第一分块特征向量和所述第二分块特征向量匹配的数目获得所述待测网页和所述预设网页匹配的分块数n_a；

计算待测网页的相似度，其中所述待测网页的相似度由公式(1)获得；

S＝(n_a/N_a)*(max(N,N_a)/min(N,N_a))公式(1)；

其中，S为所述待测网页的相似度；max(N,N_a)为N和N_a中较大者；min(N,N_a)为N和N_a中较小者。

2.根据权利要求1所述的方法，其特征在于，所述生成待测网页对应的基于视觉结构的第一分块特征向量，包括：

获得所述待测网页对应的DOM树；

根据所述DOM树获得VTree；

根据预设的筛选条件筛选VTree,获得第一分块位置特征向量；

根据应用环境获得第一分块内容特征向量，由所述第一分块位置特征向量和所述第一分块内容特征向量获得第一分块特征向量。

3.根据权利要求1所述的方法，其特征在于，所述将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对之前，还包括：

获得所述预设网页对应的DOM树；

根据所述DOM树获得VTree；

根据预设的筛选条件筛选VTree,获得第二分块位置特征向量；

根据应用环境获得第二分块内容特征向量，由所述第二分块位置特征向量和所述第二分块内容特征向量获得第二分块特征向量。

4.根据权利要求3所述的方法，其特征在于，所述由所述第二分块位置特征向量和所述第二分块内容特征向量获得第二分块特征向量之后，还包括：

对所述第二分块特征向量建立索引；

根据所述索引建立特征向量索引库；

相应地，所述将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对，获得待测网页的相似度包括：

将所述第一分块特征向量和所述特征向量索引库中的第二分块特征向量通过查找索引进行比对，获得待测网页的相似度。

5.一种网页相似度计算装置，其特征在于，包括：

第一生成单元，用于生成待测网页对应的基于视觉结构的第一分块特征向量，其中所述第一分块特征向量包括第一分块位置特征向量和第一分块内容特征向量；

比对单元，用于将所述第一分块特征向量和预设网页对应的基于视觉结构的第二分块特征向量进行比对，获得待测网页的相似度；

其中，所述比对单元用于获得待测网页的相似度，具体包括：

分块数获得子单元，用于获得待测网页的分块数N和预设网页的分块数Na；

匹配子单元，用于通过所述第一分块特征向量和所述第二分块特征向量匹配的数目获得所述待测网页和所述预设网页匹配的分块数n_a；

计算子单元，用于计算待测网页的相似度，其中所述待测网页的相似度由公式(2)获得；

S＝(n_a/N_a)*(max(N,N_a)/min(N,N_a))公式(2)；

其中，S为所述待测网页的相似度；max(N,N_a)为N和N_a中较大者；min(N,N_a)为N和N_a中较小者。