[发明专利]分布式任务的分配优化方法和装置、存储介质及电子装置

说明书

本发明提供了一种分布式任务的分配优化方法及装置，其中，上述方法包括：根据分布式系统中每一节点的状态信息，在分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，第二节点集合中的每一节点为允许执行分布式系统中待分配任务的节点，第二节点集合中所包括的节点的数量小于或等于第一节点集合中所包括的节点的数量；确定当前待分配任务与第二节点集合中每一节点的关联程度参数，其中，关联程度参数用于指示当前待分配任务与第二节点集合中每一节点已接收到的任务的关联程度；将当前待分配任务分配至与第二节点集合中关联程度最高的目标节点执行。

技术领域

本发明涉及计算机领域，具体而言，涉及一种分布式任务的分配优化方法和装置、存储介质及电子装置。

背景技术

相关技术中，分布式系统的调度系统在进行节点调度时，主要通过负载均衡算法计算所有节点的资源负载情况，然后将负载利用率低的节点优先加入到调度队列中，并对加入到队列中的节点随机分配任务。

相关技术中的节点分配方式，对于加入到调度队列中的节点，由于其负载利用率的不同，仍然存在执行任务效率的高低不等的问题，单纯地采用随机分配的方式，会存在任务执行效果的好坏之分，未能实现对分布式任务的分配优化的最优化。

针对相关技术中，分布式系统的调度系统在进行节点调度时，由于节点的负载利用率的不同，仍然存在分布式任务的分配优化不合理等问题，尚未提出有效的技术方案。

发明内容

本发明实施例提供了一种分布式任务的分配优化方法及装置，以至少解决相关技术中，分布式系统的调度系统在进行节点调度时，由于节点的负载利用率的不同，仍然存在分布式任务的分配优化不合理等问题。

根据本发明的一个实施例，提供了一种分布式任务的分配优化方法，包括：根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，其中，所述第二节点集合中的每一节点为允许执行所述分布式系统中待分配任务的节点，所述第二节点集合中所包括的节点的数量小于或等于所述第一节点集合中所包括的节点的数量；确定当前待分配任务与所述第二节点集合中每一节点的关联程度参数；所述关联程度参数用于指示所述当前待分配任务与所述第二节点集合中每一节点已接收到的任务的关联程度；将所述当前待分配分布式任务的分配优化至与所述第二节点集合中关联程度最高的目标节点执行。

在本发明实施例中，所述分布式系统中每一节点的状态信息包括：未完成任务的数量，在第一预定时间段内的平均负载参数，以及未完成任务的预估完成时间；所述根据所述分布式系统中每一节点的状态信息，在所述分布式系统的所有节点所组成的第一节点集合中确定第二节点集合，包括：获取所述分布式系统中每一节点的状态信息；根据所述状态信息，确定所述分布式系统中每一节点的性能评估值；根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合。

在本发明实施例中，所述根据所述性能评估值，在所述分布式系统中的所述第一节点集合中确定所述第二节点集合，包括：将所述分布式系统中的每一节点的性能评估值与预设阈值进行比较；将性能评估值小于所述预设阈值对应的节点所组成的集合确定为所述第二节点集合。

在本发明实施例中，所述确定所述分布式系统中每一节点的性能评估值，包括：将所述未完成任务的数量进行归一化，得到归一化之后的未完成任务的数量；确定第一权重与所述归一化之后的未完成任务的数量的第一乘积、确定第二权重与所述平均负载参数的第二乘积，以及确定第三权重与所述预估完成时间的第三乘积；其中，所述第一权重大于所述第二权重，所述第二权重大于所述第三权重；将所述第一乘积、第二乘积与第三乘积之和确定为所述性能评估值。