[发明专利]作业调度方法、装置、设备、介质和程序产品

说明书

本公开提供了一种作业调度方法，可以应用于大数据技术领域。该作业调度方法，所述方法应用于通过容器组处理作业的场景下，所述容器组包括多个容器，所述多个容器是按照顺序排列的，所述容器包括多个执行状态，所述多个执行状态至少包括空闲状态，所述方法包括：响应于所述作业的调起，从重排顺序后的容器组中，查找所述空闲状态的容器，其中，所述重排顺序后的容器组是通过执行重排序逻辑得到的，所述重排序逻辑是按照所述多个容器的执行状态的分布是非交错的原则实现的；以及在查找所述空闲状态的容器成功的情况下，将所述作业调度至所述空闲状态的容器。本公开还提供了一种作业调度装置、设备、存储介质和程序产品。

技术领域

本公开涉及大数据技术领域，具体地涉及一种作业调度方法、装置、设备、介质和程序产品。

背景技术

目前，批量作业的应用可以部署在PAAS的容器上执行，批量作业的时长存在不定性，因此会浪费一部分服务器资源。对于此现象，可以通过函数模型进行改进。

函数模式下的作业调度，对于特定范围内的作业任务，可以通过查找“待销毁”状态的容器，进一步调度该作业任务至该容器，保证容器的高复用性、保证资源利用率。

但是，现有技术中的容器组内的状态的分布是交错的，这样会降低查询“待销毁”状态容器的效率，进而降低作业流的执行效率。

发明内容

鉴于上述问题，本公开提供了提高容器作业流的执行效率的作业调度方法、装置、设备、介质和程序产品。

根据本公开的第一个方面，提供了一种作业调度方法，所述方法应用于通过容器组处理作业的场景下，所述容器组包括多个容器，所述多个容器是按照顺序排列的，所述容器包括多个执行状态，所述多个执行状态至少包括空闲状态，所述方法包括：响应于所述作业的调起，从重排顺序后的容器组中，查找所述空闲状态的容器，其中，所述重排顺序后的容器组是通过执行重排序逻辑得到的，所述重排序逻辑是按照所述多个容器的执行状态的分布是非交错的原则实现的；以及在查找所述空闲状态的容器成功的情况下，将所述作业调度至所述空闲状态的容器。

根据本公开的实施例，其中，所述重排序逻辑包括：对于第一阶段，获取初始的容器组，所述初始的容器组中的所述多个容器的执行状态的分布是交错的；分别将预设的闲指针和预设的忙指针，设置在所述初始的容器组的两端作为探测起始端；重复执行以下操作直至所述闲指针和所述忙指针共同探测完所述容器组中所有容器：基于所述闲指针和所述忙指针，通过预设的第一移动步长，按照相向方向进行探测；在所述闲指针和所述忙指针同时暂停的情况下，将所述闲指针指向的容器对应的作业和执行状态，与所述忙指针指向的容器对应的作业和执行状态相互置换。

根据本公开的实施例，其中，所述多个容器包括第一容器和第二容器，所述在所述闲指针和所述忙指针同时暂停的情况下，将所述闲指针指向的容器对应的作业和执行状态，与所述忙指针指向的容器对应的作业和执行状态相互置换，包括：在所述闲指针探测到空闲状态的容器的情况下，暂停所述闲指针的探测，得到所述闲指针当前指向的第一容器；在所述忙指针探测到非空闲状态的容器的情况下，暂停所述忙指针的探测，得到所述忙指针当前指向的第二容器；以及将所述第一容器和所述第二容器中的内容和执行状态相互置换。

根据本公开的实施例，其中，在所述将所述作业调度至所述空闲状态的容器后，所述方法还包括：监控所述重排顺序后的容器组中容器的依赖关系。