[发明专利]任务处理方法、装置及设备

说明书

本发明实施例涉及计算机技术领域，是关于一种任务处理方法、装置及设备。其中，所述方法包括：确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置。本发明的实施例，通过将第一待处理任务的下次处理时间与待处理任务队列中当前已有的待处理任务的下次处理时间进行比较，根据比较的结果，将第一待处理任务插入待处理任务队列中的目标位置，可以实现后续以不同的周期来处理不同的任务，提高任务的处理质量。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种任务处理方法、装置及设备。

背景技术

众所周知，在计算机技术领域常需周期性地处理一些作业任务。现有的任务处理方法通常是将要处理的任务放入一待处理任务队列的尾，而从队列的头取出下一个待处理的任务。显然，这种方法只适用于相同处理周期的任务，而影响处理周期不同的任务的处理质量。

举例来说，假设网络爬虫系统需要周期性地获取大量的网页信息，如URL(统一资源定位符Uniform Resource Locator)，这里可将获取一网页信息的操作视为处理一任务。由于不同类型的网页具有不同的更新周期，因而需要以不同的获取周期来获取不同类型网页的网页信息(即以不同的处理周期来处理任务)。以几种典型的网页类型为例，首页的更新周期通常为小时级别，列表页的更新周期通常为天级别，而内容页的更新周期通常为周级别。采用现有的任务处理方法只能以一固定周期抓取不同类型网页的网页信息，而容易导致对更新周期较短的网页抓取不及时，或对更新周期较长的网页重复抓取。

发明内容

本发明实施例提供一种任务处理方法、装置及设备，以解决相关技术中的不足。

根据本发明实施例的第一方面，提供一种任务处理方法，包括：

确定第一待处理任务的下次处理时间；所述第一待处理任务为：需要添加至待处理任务队列的任务；所述待处理任务队列中包含周期性任务，且周期性任务的处理周期不同；

将所述第一待处理任务的下次处理时间与所述待处理任务队列中当前已有的待处理任务的下次处理时间分别进行比较；

根据所述比较的结果，将所述第一待处理任务插入所述待处理任务队列中的目标位置；其中，所述目标位置的前一位置的待处理任务的下次处理时间早于所述第一待处理任务的下次处理时间，且所述目标位置的后一位置的待处理任务的下次处理时间晚于所述第一待处理任务的下次处理时间。

可选地，所述第一待处理任务为：所述待处理任务队列中存在过的、且需要周期性执行的待处理任务；

相应地，所述确定第一待处理任务的下次处理时间，包括：

确定第一待处理任务的处理周期及所述第一待处理任务的上次处理时间；

根据所述处理周期及所述上次处理时间确定所述第一待处理任务的下次处理时间。

可选地，所述第一待处理任务为：所述待处理任务队列中未存在过的、且需要周期性执行的待处理任务；

相应地，所述确定第一待处理任务的下次处理时间，包括：

为所述第一待处理任务初始化设置下次处理时间。

可选地，所述待处理任务队列基于双向链表进行实现；其中，所述双向链表中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。

可选地，所述待处理任务队列基于数组进行实现；其中，所述数组中包括多个元素，每个元素对应一个待处理任务，且每个元素包含一待处理任务的标识及其下次抓取时间。