[发明专利]对从各服务器抓取数据的任务进行调度的方法和设备

说明书

技术领域

本发明涉及计算机网络领域，具体涉及一种对从各服务器抓取数据的任务进行调度的方法和设备。

背景技术

现有技术中的网络搜索等多种应用中都需要进行网络数据抓取来为应用提供网络数据。现有的进行网络数据抓取的技术方案为：访问端将抓取数据的任务批量发送给抓取器，抓取器接收到这些抓取数据的任务后，按任务指示从服务器中获得数据。

但是，通过上述技术方案进行网络中数据抓取容易造成抓取失败。其主要原因在于，网络中多数服务器会对某个客户端访问的频率进行限制，以避免恶意攻击。当某一客户端对服务器访问过于频繁时，服务器就会认为该客户端为恶意访问者，从而拒绝该客户端的访问。由于抓取器进行数据抓取的任务量较大，可能频繁从服务器获取数据，容易使服务器认为其为恶意访问者，因此拒绝抓取器的访问，造成抓取数据失败。

发明内容

鉴于上述问题，提出了本发明，以便提供一种克服上述问题或者至少部分地解决上述问题的对从各服务器抓取数据的任务进行调度的方法和设备。

依据本发明的一个方面，提供了一种对从各服务器抓取数据的任务进行调度的方法。该方法包括从目标服务器列表获取要进行任务调度的预定数量台服务器；以及针对所述预定数量台服务器中的服务器，根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务，并且执行所获取的任务。

可选地，上述从目标服务器列表获取要进行任务调度的预定数量台服务器的步骤包括按服务器中任务最近一次被调度的时间由早到晚的顺序从目标服务器列表中选取出预定数量台服务器。

可选地，上述根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务的步骤之前还包括针对所述预定数量台服务器中的每台服务器，判断当前时间是否已经晚于与该服务器相关联的下次访问时间。若是，则对该服务器进行所述根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务的步骤，并更新与该服务器相关联的下次访问时间为当前时间与预设的时间间隔之和。

可选地，上述根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务的步骤之前还包括针对所述预定数量台服务器中的每台服务器，判断与该服务器相关联的任务数量限制信息中的可访问任务数量是否大于0。若是，则对该服务器进行所述根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务的步骤。

可选地，上述根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务的步骤具体包括从该服务器的任务中提取不超过与该服务器相关联的任务数量限制信息中的可访问任务数量的任务；以及更新所述可访问任务数量为该可访问任务数量减去提取的任务数量后的差值。并且，上述执行所获取的任务的步骤包括每当服务器的一个任务执行完成后，将与该服务器相关联的任务数量限制信息中的可访问任务数量加1。

根据本发明的另一方面，提供了一种对从各服务器抓取数据的任务进行调度的设备，该设备包括任务发送器和抓取器。任务发送器适于从目标服务器列表获取要进行任务调度的预定数量台服务器，针对所述预定数量台服务器中的服务器，根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务，发送获取的任务所组成的抓取任务列表。抓取器适于接收任务发送器发送的抓取任务列表，执行抓取任务列表中的任务。

可选地，任务发送器适于按服务器中任务最近一次被调度的时间由早到晚的顺序从目标服务器列表中选取出预定数量台服务器。

可选地，所述设备除包括还包括任务发送器和抓取器外还包括检测器。任务发送器适于在从目标服务器列表获取要进行任务调度的预定数量台服务器后，将获取的服务器所组成的服务器列表发送给检测器。检测器适于针对接收的服务器列表中的每台服务器，判断当前时间是否已经晚于与该服务器相关联的下次访问时间，若是，则将该服务器添加到可访问服务器列表中，并将最终确定的可访问服务器列表发送给任务发送器。任务发送器还适于对于可访问服务器列表中的每个服务器，根据与该服务器相关联的任务数量限制信息，从与该服务器相关联的任务列表中获取任务，并更新与该服务器相关联的下次访问时间为当前时间与预设的时间间隔之和。