[发明专利]获取网页信息方法和装置

权利要求书

1.一种获取网页信息方法，其特征在于，所述方法包括：

获取网页集合，其中，所述网页集合中的网页的网页布局相同；

对所述网页集合中的每个网页进行去噪处理，生成相应的、包含网页源码的去噪后的网页，并基于各个去噪后的网页生成去噪网页集合；

从所述去噪网页集合中选择网页对进行编辑距离的计算，确定计算出的、编辑距离的数值最大的网页对作为目标网页对，其中，编辑距离的计算是基于网页源码而进行的；

基于所述目标网页对中的网页源码，提取所述目标网页对中相同的字符串作为网页关键字符串；

对于所述去噪网页集合中的每个去噪网页，基于所述网页关键字符串提取该去噪网页的信息。

2.根据权利要求1所述的获取网页信息方法，其特征在于，所述对所述网页集合中的各个网页进行去噪处理之前，所述方法还包括：

获取所述网页集合中的各个网页的网页源码；

对于所述网页集合中的每个网页，基于该网页的网页源码中的标签生成该网页的结构树。

3.根据权利要求1所述的获取网页信息方法，其特征在于，所述网页关键字符串在所述目标网页对的每个网页中是唯一存在的字符串。

4.根据权利要求1所述的获取网页信息方法，其特征在于，所述对所述网页集合中的每个网页进行去噪处理，包括：

根据正则表达式对所述网页集合中的每个网页进行去噪处理。

5.根据权利要求1-4之一所述的获取网页信息方法，其特征在于，

所述编辑距离用于表示两个字串之间、由一个字符串转成另一个字符串所需的最少编辑操作次数。

6.一种获取网页信息装置，其特征在于，所述装置包括：

获取单元，配置用于获取网页集合，其中，所述网页集合中的网页的网页布局相同；

处理单元，配置用于对所述网页集合中的每个网页进行去噪处理，生成相应的、包含网页源码的去噪后的网页，并基于各个去噪后的网页生成去噪网页集合；

选择单元，配置用于从所述去噪网页集合中选择网页对进行编辑距离的计算，确定计算出的、编辑距离的数值最大的网页对作为目标网页对，其中，编辑距离的计算是基于网页源码而进行的；

提取单元，配置用于基于所述目标网页对中的网页源码，提取所述目标网页对中相同的字符串作为网页关键字符串；

生成单元，配置用于对于所述去噪网页集合中的每个去噪网页，基于所述网页关键字符串提取该去噪网页的信息。

7.根据权利要求6所述的获取网页信息装置，其特征在于，所述装置还包括：

解析单元，配置用于获取所述网页集合中的各个网页的网页源码；

第一生成单元，配置用于根据所述网页源码生成所述网页的结构树，其中，所述网页的结构树中包含多个标签。

8.根据权利要求6所述的获取网页信息装置，其特征在于，所述网页关键字符串在所述目标网页对的每个网页中是唯一存在的字符串。

9.根据权利要求6所述的获取网页信息装置，其特征在于，所述处理单元包括：

去噪模块，配置用于根据正则表达式对所述网页集合中的每个网页进行去噪处理。

10.根据权利要求6-9之一所述的获取网页信息装置，其特征在于，

所述编辑距离用于表示两个字串之间、由一个字符串转成另一个字符串所需的最少编辑操作次数。

11.一种服务器，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-5中任一所述的方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5中任一所述的方法。