[发明专利]作业调度方法及装置

说明书

技术领域

本申请属于数据处理技术领域，具体地说，涉及一种作业调度方法、装置及系统。

背景技术

在传统的分布式系统中，分布式作业包括有限数量的任务(task)，每一任务又划分为多个任务切片(instance)，作业运行时，由各个任务的任务切片进行数据处理。

任务切片被调度运行在分布式系统的计算节点中，而由于计算节点软硬件配置各不相同，且运行的作业也各不相同，外界干扰因素颇多，导致不同机器运行环境大不相同，且由于作业本身的原因或者机器上运行的大量作业互相作用的结果或者机器本身问题，往往会导致某些计算节点磁盘读写慢或系统负载高等问题，使得计算节点无法正常运行。如果这个时候再调度新的作业到这些计算节点上，不仅影响作业的运行进度，也会加重系统的负载，进而影响其他作业的运行。

因此，急需提供一种有效的作业调度方式，以规避掉无法正常运行的计算节点，提高作业运行效率。

发明内容

有鉴于此，本申请所要解决的技术问题是提供了一种作业调度方法及装置，有效实现了作业调度，提高了作业运行效率。

为了解决上述技术问题，本申请公开了一种作业调度方法，应用于分布式系统中，所述方法包括：

第一计算节点计算当前运行的任务切片的数据处理速率；

根据所述数据处理速率，确定所述任务切片满足调度条件时，生成调度指令发送至中心节点；所述调度指令用于触发所述中心节点中断所述任务切片的运行，并请求资源管理器重新调度所述任务切片在第二计算节点中运行；其中，所述资源管理器部署在所述分布式系统中的任一个计算节点或中心节点中。

优选地，所述根据所述数据处理速率，确定所述任务切片满足调度条件时，生成调度指令发送至中心节点包括：

根据所述数据处理速率，计算所述任务切片中未处理数据的处理时间；

在所述处理时间大于预设时间时，生成调度指令发送至中心节点。

优选地，所述预设时间为重新调度所述任务切片在第二计算节点运行的重新调度时间；

所述在所述处理时间大于预设时间时，生成调度指令发送至中心节点包括：

在所述处理时间大于所述重新调度时间时，生成调度指令发送至中心节点。

优选地，所述第一计算节点计算当前运行的任务切片的数据处理速率包括：

第一计算节点记录当前运行的任务切片在运行过程中，读数据的数据量和读数据时间，以及写数据的数据量和写数据时间；

根据所述读数据的数据量和读数据时间，以及写数据的数据量和写数据时间，计算所述任务切片的数据处理速率。

优选地，所述根据所述数据处理速率，计算所述任务切片中未处理数据的处理时间包括：

根据所述数据处理速率，计算所述任务切片中未处理数据的读数据时间以及写数据时间；

计算所述任务切片中未处理数据的读数据时间以及写数据时间的和值， 作为所述当前运行的任务切片中未处理数据的处理时间。

优选地，所述根据所述读数据的数据量和读数据时间，以及写数据的数据量和写数据时间，计算所述任务切片的数据处理速率包括：

根据所述读数据的数据量和读数据时间，以及写数据的数据量和写数据时间，按照如下计算公式计算所述任务切片的数据处理速率；

DataProcessSpeed＝(dataSize1+dataSize2)/(time1+time2)；

其中，DataProcessSpeed表示所述任务切片的数据处理速率；dataSize1表示读数据的数据量，time1表示读数据时间；dataSize2表示写数据的数据量，time2表示写数据时间。

一种作业调度方法，应用于分布式系统中，所述方法包括：

中心节点接收第一计算节点的调度指令；所述调度指令为所述第一计算节点计算当前运行的任务切片的数据处理速率；根据所述数据处理速率，确定所述任务切片满足调度条件时生成并发送的；

中断所述任务切片在所述第一计算节点中运行，

请求资源管理器重新调度所述任务切片在第二计算节点中运行。

一种作业调度方法，应用于分布式系统中，所述方法包括：

接收中心节点的调度请求；所述调度请求为所述中心节点接收第一计算节点的调度指令，中断所述任务切片在所述第一计算节点中运行之后生成的，所述调度指令为所述第一计算节点计算当前运行的任务切片的数据处理速率；根据所述数据处理速率，确定所述任务切片满足调度条件时生成并发送的；