[发明专利]一种任务分配方法、装置、设备及计算机可读介质

说明书

本申请涉及一种任务分配方法、装置、设备及计算机可读介质，该方法包括：响应于待处理任务的任务处理请求，获取至少两个资源池的剩余资源和每个所述资源池所属服务器集群的集群性能参数；获取待处理任务的任务数据；确定不同资源池所属服务器集群处理所述待处理任务时的所需资源量；计算每个待选资源池处理所述待处理任务的预估处理时间；确定所述待处理任务的目标资源池；将所述待处理任务分配至所述目标资源池对应的任务列表中。可以避免任务分配时服务器集群出现阻塞的情况，并且使得待处理任务的分配更加合理，使得待处理任务的处理更加高效。

技术领域

本申请涉及计算机技术领域，尤其涉及一种任务分配方法、装置、设备及计算机可读介质。

背景技术

随着大数据行业的快速发展，各种基于大数据的服务也逐渐增多。一般的，用户对开发工具的界面操作可以获取所需的数据；例如，用户在开发工具中通过拖拽一些预先配置的维度和指标，并将这些指标提交，以启动大数据中的调度任务，过一段时间后，任务计算完成会返回结果，用户即可得到所需的数据。但是，用户通过大数据服务获取所需的数据时，会存在以下问题：

由于用户提交的任务量较大，而服务器集群能够处理任务的资源有限，例如A、B两个任务队列对应的资源池在一定时间内分别最多能处理50个任务，而用户向A任务队列中提交了80个任务，向B任务队列中提交了10个任务，这样就造成A任务队列对应的资源池所接收的任务大幅度地超过了A任务队列对应的资源池的最大资源处理量50个，那么这时候就会造成服务器集群发生堵塞，从而服务器的计算速度也随之大幅度地降低；而B任务队列对应的资源池却只处理了10个任务，还剩余40个任务的资源处理量，使得B任务队列对应的资源池处于空闲状态，极大地浪费了B任务队列对应的资源池的处理资源；

因此，如何合理地将任务分配至服务器集群的资源池对应的任务队列中成为亟待解决的技术问题。

发明内容

为了解决上述技术问题或者至少部分地解决上述技术问题，本申请提供了一种任务分配方法、装置、设备及计算机可读介质。

第一方面，本申请提供了一种任务分配方法，所述方法包括：

响应于待处理任务的任务处理请求，获取至少两个资源池的剩余资源和每个所述资源池所属服务器集群的集群性能参数；

获取待处理任务的任务数据；

根据所述任务数据以及各个资源池所属服务器集群的集群性能参数，确定不同资源池所属服务器集群处理所述待处理任务时的所需资源量；

将所述剩余资源大于或等于所述所需资源量的至少一个资源池作为待选资源池，计算每个待选资源池处理所述待处理任务的预估处理时间；

根据每个待选资源池所属服务器集群处理所述待处理任务的预估处理时间，确定所述待处理任务的目标资源池；

将所述待处理任务分配至所述目标资源池。

可选地，所述确定所述待处理任务的目标资源池，包括：

将预估处理时间最小的待选资源池作为所述目标资源池。

可选地，所述确定所述待处理任务的目标资源池，还包括：

判断所述预估处理时间最小的待选资源池对应的任务列表是否为空；

若预估处理时间最小的待选资源池对应的任务列表为空，执行所述将预估处理时间最小的待选资源池作为所述目标资源池的步骤。

可选地，所述确定所述待处理任务的目标资源池，还包括：

若预估处理时间最小的待选资源池对应的任务列表不为空，获取每个待选资源池对应的任务列表中等待任务的预估处理时间；