[发明专利]网页爬取任务调度方法与任务调度器

说明书

技术领域

本发明涉及计算机技术领域，特别是涉及一种网络蜘蛛的网页爬取任务调度方法与任务调度器。

背景技术

网络蜘蛛也称Web蜘蛛，是指通过网络请求，访问互联网上的各个站点，来获取一些有价值信息的应用。网络蜘蛛通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。

当需要访问的站点或网页数量较多时，单个机器或单个数据中心中蜘蛛的获取信息的能力将非常有限。这个时候就会需要使用到多个机器或多个数据中心的蜘蛛，来对大量的站点及网页进行抓取。现有使用多个机器或多个数据中心的蜘蛛时，蜘蛛任务的分配大多是将各个站点或各个需要抓取的页面任务，平均地进行分配。

然而，对于任意一个站点来说，各数据中心的网络蜘蛛访问该站点的速度是不一样的，这种平均分配策略有可能造成将抓取任务分配给访问速度慢的数据中心，而访问速度快的数据中心则可能处于空闲状态，造成蜘蛛抓取效率不高。此外，各数据中心在一天内各个时间段的网络情况也不一样，如果某个数据中心的网络情况不佳，则分配给那个数据中心的任务则会持续积压，这样不仅会造成程序稳定性的问题，还会导致一些重要站点的抓取出现较长时间的延迟，同样使得蜘蛛抓取效率不高。

发明内容

鉴于上述现有的网页爬取中，蜘蛛抓取效率不高的问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的网页爬取任务调度方法与任务调度器。

依据本发明的一个方面，提供了一种网页爬取任务调度方法，包括：

确定各个数据中心的网络爬虫的当前任务积压状态；

若当前数据中心的所述任务积压状态为少量任务积压，则调整所述当前数据中心中的网络爬虫的抓取进程数量，并继续向所述当前数据中心调度后续网页爬取任务；

若当前数据中心的所述任务积压状态为大量任务积压、且存在所述任务积压状态为少量任务积压或无积压的其它数据中心，则将调度给所述当前数据中心的后续网页爬取任务调度给所述任务积压状态为少量任务积压的其它数据中心；

若所有数据中心的所述任务积压状态均为大量任务积压，则延迟设定时间后再进行后续网页爬取任务调度。

可选地，所述确定各个数据中心的网络爬虫的当前任务积压状态的步骤包括：

获取所述各个数据中心的当前网页爬取任务数和当前网页爬取工作进程数；

根据所述当前网页爬取任务数和当前网页爬取工作进程数，确定所述各个数据中心的当前任务积压比例；

当所述当前任务积压比例大于或等于第一设定阈值，且小于第二设定阈值时，则所述数据中心的当前任务积压状态为少量任务积压；

当所述当前任务积压比例大于或等于所述第二设定阈值时，则所述数据中心的当前任务积压状态为大量任务积压。

可选地，所述若当前数据中心的所述任务积压状态为少量任务积压，则调整所述当前数据中心中的网络爬虫的抓取进程数量的步骤包括：

根据所述任务积压状态为少量任务积压的当前数据中心的所述当前任务积压比例，判断在下一次网页爬取任务调度前，所述少量任务积压的当前数据中心完成当前所有网页爬取任务的执行的机率；

若所述机率不为100%，则判断当前数据中心的所述当前网页爬取工作进程数是否小于设定的最大进程数；若小于，则在所述最大进程数允许的范围内增加第一设定数量的网页爬取工作进程；若不小于，则不进行网页爬取工作进程数调整；

若所述机率为100%，则判断当前数据中心的所述当前网页爬取工作进程数是否大于设定的最小进程数、且减少第二设定数量的网页爬取工作进程后仍能在下一次网页爬取任务调度前，将当前数据中心的当前所有网页爬取任务执行完；若是，则在所述最小进程数允许的范围内减少所述第二设定数量的网页爬取工作进程；若否，则不进行网页爬取工作进程数调整。

可选地，在所述若所有数据中心的所述任务积压状态均为大量任务积压，则延迟设定时间后再进行后续网页爬取任务调度的步骤之后，还包括：

记录所述延迟的次数；

若所述延迟的次数大于第三设定阈值，则仍向所述任务积压状态为大量任务积压的数据中心调度后续网页爬取任务。

可选地，在所述确定各个数据中心的网络爬虫的当前任务积压状态的步骤之前，还包括：

获取所述各个数据中心的网络爬虫的网页爬取权限；