[发明专利]页面聚合方法、装置、计算机设备及存储介质

权利要求书

1.一种页面聚合方法，其特征在于，包括：

按照抓取要求从站点抓取页面，并将抓取到的页面作为一条物料存储到物料库中；

根据所述物料库中的页面的统一资源定位符URL挖掘出分页与封面页之间的映射规则；

对挖掘出的映射规则进行过滤，过滤掉不符合要求的映射规则，包括：针对任一映射规则，统计满足以下条件的URL对数：所述物料库中的一个分页通过所述映射规则映射到的封面页也存储在所述物料库中，且所述分页与所述封面页的标题的相似度大于预先设定的第一阈值，将统计出的URL对数作为所述映射规则的打分；若所述打分大于预先设定的第二阈值，则确定所述映射规则为符合要求的映射规则，否则，确定所述映射规则为不符合要求的映射规则；

根据所述映射规则，将所述物料库中的封面页对应的分页内容聚合到封面页，生成一条新的物料。

2.根据权利要求1所述的方法，其特征在于，

所述映射规则中包括：所述映射规则所属的站点、分页的URL的正则形式以及封面页的URL的正则形式。

3.根据权利要求1所述的方法，其特征在于，

所述对挖掘出的映射规则进行过滤进一步包括：

针对任一映射规则，确定所述映射规则是否位于预先生成的黑名单中，若是，则确定所述映射规则为不符合要求的映射规则。

4.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：获取映射规则的白名单；

所述根据所述映射规则，将所述物料库中的封面页对应的分页内容聚合到封面页包括：根据所述白名单中的映射规则以及过滤后的挖掘出的映射规则，将所述物料库中的封面页对应的分页内容聚合到封面页。

5.根据权利要求1所述的方法，其特征在于，

所述根据所述映射规则，将所述物料库中的封面页对应的分页内容聚合到封面页，生成一条新的物料包括：

针对所述物料库中的每个页面，分别进行以下处理：

确定所述页面是否为分页；

若是，则根据所述分页对应的映射规则映射得到所述分页对应的封面页，并分别获取所述封面页对应的各分页，将各分页内容聚合到所述封面页，生成一条新的物料。

6.根据权利要求5所述的方法，其特征在于，

所述分别获取所述封面页对应的各分页包括：

根据所述封面页对应的映射规则生成所述封面页对应的各分页的URL；

分别确定生成的各URL对应的分页是否存储在所述物料库中，若否，则根据所述分页的URL抓取所述分页。

7.根据权利要求1所述的方法，其特征在于，

该方法进一步包括：当每次满足更新条件时，抓取新的页面存储到所述物料库中，并根据所述物料库中的物料进行映射规则的挖掘以及页面聚合操作。

8.一种页面聚合装置，其特征在于，包括：过滤单元、抓取单元、挖掘单元以及聚合单元；

所述抓取单元，用于按照抓取要求从站点抓取页面，并将抓取到的页面作为一条物料存储到物料库中；

所述挖掘单元，用于根据所述物料库中的页面的统一资源定位符URL挖掘出分页与封面页之间的映射规则；

所述过滤单元，用于对挖掘出的映射规则进行过滤，过滤掉不符合要求的映射规则，包括：针对任一映射规则，统计满足以下条件的URL对数：所述物料库中的一个分页通过所述映射规则映射到的封面页也存储在所述物料库中，且所述分页与所述封面页的标题的相似度大于预先设定的第一阈值，将统计出的URL对数作为所述映射规则的打分；若所述打分大于预先设定的第二阈值，则确定所述映射规则为符合要求的映射规则，否则，确定所述映射规则为不符合要求的映射规则；

所述聚合单元，用于根据所述映射规则，将所述物料库中的封面页对应的分页内容聚合到封面页，生成一条新的物料。

9.根据权利要求8所述的装置，其特征在于，

所述映射规则中包括：所述映射规则所属的站点、分页的URL的正则形式以及封面页的URL的正则形式。