[发明专利]任务分配方法、装置、计算机可读存储介质及电子设备

说明书

本公开涉及一种任务分配方法、装置、计算机可读存储介质及电子设备。该方法应用于分布式系统，该方法包括：当存在多个待执行任务时，获取所述分布式系统中各空闲机器的系统吞吐量和网络吞吐量；根据所述待执行任务的数量、所述各空闲机器的所述系统吞吐量和所述网络吞吐量，确定目标分配机器数S，其中，所述目标分配机器数S小于或等于所述分布式系统中的空闲机器数；从所述分布式系统的所有空闲机器中，确定出S台用于执行所述多个待执行任务的目标空闲机器；将所述多个待执行任务分配给所述S台目标空闲机器执行。由此，可在保证多个待执行任务有效执行的同时，尽可能降低分布式系统的整体损耗，进而提升了该分布式系统的服务效率和用户体验。

技术领域

本公开涉及任务调度领域，具体地，涉及一种任务分配方法、装置、计算机可读存储介质及电子设备。

背景技术

客户智能分析平台作为一款大数据分析产品，一直致力于让用户获得快速构建数据服务、共享数据分析带来的价值。对于海量用户共享大数据分析产品这一模式，会存在很多诸如数据共享、数据安全、任务优化调度、用户等待任务时间等问题，这些问题直接影响到了用户体验，因此，亟待进行优化、改进客户智能分析平台。针对目前通用的先进先出等待模式，处于队尾的用户将处于长期等待的状态，导致产品服务效率低下、用户体验差。

发明内容

为了解决相关技术中存在的问题，本公开提供一种任务分配方法、装置、计算机可读存储介质及电子设备。

为了实现上述目的，本公开提供一种任务分配方法，所述方法应用于分布式系统，所述方法包括：

当存在多个待执行任务时，获取所述分布式系统中各空闲机器的系统吞吐量和网络吞吐量；

根据所述待执行任务的数量、所述各空闲机器的所述系统吞吐量和所述网络吞吐量，确定目标分配机器数S，其中，所述目标分配机器数S小于或等于所述分布式系统中的空闲机器数；

从所述分布式系统的所有空闲机器中，确定出S台用于执行所述多个待执行任务的目标空闲机器；

将所述多个待执行任务分配给所述S台目标空闲机器执行。

可选地，所述根据所述待执行任务的数量、所述各空闲机器的所述系统吞吐量和所述网络吞吐量，确定目标分配机器数S，包括：

根据所述待执行任务的数量、所述各空闲机器的所述系统吞吐量和所述网络吞吐量，获得所述多个待执行任务的实际内存总消耗与所述目标分配机器数S之间的函数关系、以及所述多个待执行任务的实际执行总时间与所述目标分配机器数S之间的函数关系；

根据所述实际内存总消耗与所述目标分配机器数S之间的函数关系、以及所述实际执行总时间与所述目标分配机器数S之间的函数关系，确定目标分配机器数S。

可选地，所述根据所述待执行任务的数量、所述各空闲机器的所述系统吞吐量和所述网络吞吐量，获得所述多个待执行任务的实际内存总消耗与所述目标分配机器数S之间的函数关系、以及所述多个待执行任务的实际执行总时间与所述目标分配机器数S之间的函数关系，包括：

根据所述各空闲机器的所述系统吞吐量和所述网络吞吐量，确定所述分布式系统中所有空闲机器的平均系统吞吐量和平均网络吞吐量；

针对每个待执行任务，根据所述平均系统吞吐量和所述平均网络吞吐量，预估该待执行任务的运行时间；

根据所述待执行任务的数量、所述平均系统吞吐量、所述平均网络吞吐量以及每个待执行任务的运行时间，获得所述多个待执行任务的实际内存总消耗与所述目标分配机器数S之间的函数关系、以及所述多个待执行任务的实际执行总时间与所述目标分配机器数S之间的函数关系。