[发明专利]网页爬取方法、装置以及计算机设备

权利要求书

1.一种网页爬取方法，其特征在于，所述方法包括：

爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；

爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；

判断所述第二内容与所述第一内容是否相同；

当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并继续爬取所述第二内容链接对应的第三网页。

2.如权利要求1所述的网页爬取方法，其特征在于，所述第一内容链接或所述第二内容链接包括目录列表内容链接，前后翻页内容链接，相关内容链接，推荐内容链接中的至少一种。

3.如权利要求1所述的网页爬取方法，其特征在于，所述判断所述第二内容与所述第一内容是否相同包括：

对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；

在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；

通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

4.如权利要求1所述的网页爬取方法，其特征在于，所述判断所述第二内容与所述第一内容是否相同包括：

将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；

当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

5.如权利要求1所述的网页爬取方法，其特征在于，所述方法还包括：

当所述第二内容与所述第一内容相同时，不对所述第二内容进行保存；

结束爬取，将所述内容集合作为爬取结果输出。

6.一种网页爬取装置，其特征在于，所述装置包括：

获取模块，用于爬取第一网页，获取所述第一网页包括的第一内容以及第一内容链接，将所述第一内容保存到内容集合中；

所述获取模块，还用于爬取所述第一内容链接对应的第二网页，获取所述第二网页包括的第二内容以及第二内容链接；

判断模块，用于判断所述第二内容与所述第一内容是否相同；

控制模块，用于当所述第二内容与所述第一内容不相同时，将所述第二内容保存到内容集合中，并控制所述获取模块继续爬取所述第二内容链接对应的第三网页。

7.如权利要求6所述的网页爬取装置，其特征在于，所述装置还包括提取模块，其中：

所述提取模块，用于对所述第一内容进行特征数据提取，标记为第一标识，并将所述第一标识与所述第一内容关联保存到所述内容集合；

所述提取模块，还用于在获取到所述第二内容后，对所述第二内容进行特征数据提取，标记为第二标识；

所述判断模块，还用于通过判断所述第二标识与所述第一标识是否相同，从而判断所述第二内容与所述第一内容是否相同。

8.如权利要求6所述的网页爬取装置，其特征在于，所述判断模块还用于：

将所述第一内容对应的第一URL与所述第二内容对应的第二URL进行一致性比较；

当所述第一URL与所述第二URL相同时，则判断所述第二内容与所述第一内容相同。

9.一种计算机设备，其特征在于，所述计算机设备包括存储器、处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5任一项所述的网页爬取方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序可被至少一个处理器执行，以使所述至少一个处理器执行如权利要求1-5中任一项所述的网页爬取方法的步骤。