[发明专利]一种集群业务节点选择方法、系统、终端及存储介质

说明书

本发明提供一种集群业务节点选择方法、系统、终端及存储介质，包括：解析待执行任务的需求资源量；采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；获取预选节点的现有任务执行进度和任务资源占用情况；根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。本发明能够确保在不同节点整体资源量相差不大的情况下，新任务能优先调度到任务剩余运行时长较短的节点，从而尽可能较早地运行在目标节点，减少节点的资源浪费，提升集群整体的运行效率。

技术领域

本发明涉及集群资源分配技术领域，具体涉及一种集群业务节点选择方法、系统、终端及存储介质。

背景技术

在YARN集群中,任务调度通常采用增量分配规则。增量分配规则主要为在选择节点进行调度阶段，优先选择资源空闲率高的节点进行调度。如果节点空闲内存为8G，任务申请内存10G,则节点上的8G会被任务预定，其他任务不可再使用该资源。该任务将持续等待，直到该节点上空闲资源达到10G。

在集群内各个节点资源相差不大的情况下，若只考虑节点空闲资源的大小，系统就默认将任务调度到闲置资源量较高的节点上。但如果空闲资源量仍然满足不了任务的运行需求，按增量分配的方式，提交的任务还是会占用该节点的所有空闲资源(其他任务无法利用)，造成资源浪费。显然，此时的节点分配就不太合理。

发明内容

针对现有技术的上述不足，本发明提供一种集群业务节点选择方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种集群业务节点选择方法，包括：

解析待执行任务的需求资源量；

采集集群内所有节点的总资源量，并筛选总资源量不低于所述需求资源量的节点作为预选节点；

获取预选节点的现有任务执行进度和任务资源占用情况；

根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间；

筛选出所需时间最短的预选节点作为最优节点，将所述待执行任务分配至所述最优节点。

进一步的，所述方法还包括：

采集集群内所有节点的空闲资源量；

判断是否存在空闲资源量达到所述需求资源量的最优节点：

若是，则将所述待执行任务分配至所述最优节点。

进一步的，所述获取预选节点的现有任务执行进度和任务资源占用情况，包括：

采集预选节点中现有任务的执行总时长、已执行时长和任务占用资源量。

进一步的，所述根据所述任务执行进度和任务资源占用情况计算预选节点的空闲资源量达到所述需求资源量的所需时间，包括：

根据预选节点中各任务的执行总时长和已执行时长计算各任务的剩余时长；

根据预选节点总资源量和各任务的资源占用量计算空闲资源量；

根据各任务的资源占用量和空闲资源量计算资源占用量与空闲资源量之和达到需求资源量的任务组合；

取任务组合中各任务剩余时长的最大值作为任务组合剩余时长；

选取剩余时长最短的任务组合作为预选节点的最优组合，并将所述最优组合的剩余时长作为所述所需时间输出。

第二方面，本发明提供一种集群业务节点选择系统，包括：

任务解析单元，配置用于解析待执行任务的需求资源量；