[发明专利]一种基于数据处理的任务调度方法及相关设备

说明书

本发明实施例公开了一种基于数据处理的任务调度方法及相关设备，所述方法应用于数据处理技术领域，包括：当检测到系统时间为目标定时任务对应的执行时间时，获取各个执行服务器的负载排序结果，并确定目标定时任务的任务类型。若任务类型为单机任务，则根据负载排序结果从各个执行服务器中确定出排序第一的第一目标执行服务器，并将目标定时任务调度至第一目标执行服务器；若任务类型为分布式任务，则确定目标定时任务对应的实例数量m，并根据负载排序结果从各个执行服务器中确定出排序前m的第二目标执行服务器，将目标定时任务调度至该第二目标执行服务器。采用本发明，有利于提高任务的调度效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种基于数据处理的任务调度方法及相关设备。

背景技术

计算机集群是一种计算机系统，其通过多台计算机(又称为节点)连接起来协作完成计算作业。这些节点位于同一管理域中，其具有统一的管理策略并且作为一个整体向用户提供服务。将计算机集群上的作业任务分配到多个节点上的过程可以称为任务的调度。目前，传统的任务调度引擎一般是根据任务的先来后到顺序执行，单纯的采用资源抢占，先到先得，任务调度效率低。

发明内容

本发明实施例提供了一种基于数据处理的任务调度方法及相关设备，有利于提高任务的调度效率。

第一方面，本发明实施例提供了一种基于数据处理的任务调度方法，所述方法应用于调度服务器集群，该方法包括：

当检测到系统时间为目标定时任务对应的执行时间时，从存储装置中获取预先存储的各个执行服务器的负载排序结果，所述目标定时任务为预先配置的至少一个定时任务中的任一个，所述负载排序结果是按照所述各个执行服务器的负载率由小到大的顺序进行排序得到，所述负载率是根据所述各个执行服务器的资源占用度信息得到；

基于所述目标定时任务的任务信息确定所述目标定时任务的任务类型；

若所述任务类型为单机任务，则根据所述负载排序结果从所述各个执行服务器中确定出排序第一的第一目标执行服务器，并将所述目标定时任务调度至所述第一目标执行服务器；

若所述任务类型为分布式任务，则确定所述目标定时任务对应的实例数量m，并根据所述负载排序结果从所述各个执行服务器中确定出排序前m的第二目标执行服务器，将所述目标定时任务调度至所述第二目标执行服务器，所述m为大于0的整数。

在一个实施例中，还可以按照预设时间间隔获取各个执行服务器通过心跳信息上报的所述各个执行服务器的资源占用度信息，所述资源占用度信息包括以下至少一种：内存信息、CPU利用率和磁盘输入/输出速率；根据预先配置的负载率算法和所述资源占用度信息，确定所述各个执行服务器各自对应的负载率；按照负载率由小到大的顺序对所述各个执行服务器进行排序，得到所述各个执行服务器的负载排序结果，并将所述负载排序结果存储至存储装置中。

在一个实施例中，将所述目标定时任务调度至所述第一目标执行服务器之前，还可以向所述第一目标执行服务器发送询问信息；若在预设时间内接收到所述第一目标执行服务器针对所述询问信息的响应信息，则触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。

在一个实施例中，将所述目标定时任务调度至所述第一目标执行服务器之前，还可以获取所述第一目标执行服务器的资源占用度信息，并根据所述负载率算法和所述第一目标执行服务器的资源占用度信息，确定出所述第一目标执行服务器在系统时间下的负载率；当所述在系统时间下的负载率小于预设负载率阈值时，触发执行所述将所述目标定时任务调度至所述第一目标执行服务器的步骤。