[发明专利]资源调度方法、装置和管理设备

说明书

一种资源调度方法、装置和管理设备，涉及大数据处理领域。该方法包括：管理设备获取到应用的资源需求后，根据资源需求指示的应用所需计算资源在多种计算资源组合中选择第一计算资源组合，将第一计算资源组合作为与应用匹配的计算资源组合分配给应用。多种计算资源组合中包括至少一种计算资源，至少一种计算资源中每种计算资源包括与计算资源的算力关联的资源。如此，从多种计算资源组合中选择满足运行应用的算力的计算资源组合来运行应用，降低应用的处理时延，最大化地利用集群中的计算资源运行应用，提升集群中计算资源的整体执行效率，在有效时间内完成应用的任务。

技术领域

本申请涉及大数据处理领域，尤其涉及一种资源调度方法、装置和管理设备。

背景技术

大数据应用是指预设了执行顺序的大数据计算逻辑。集群是一种包括多个互相连接的计算设备的计算机系统。通常，由集群中多个计算设备来运行大数据应用。在集群中的计算设备运行大数据应用前，集群中的资源管理器为大数据应用分配计算资源。计算资源可以是指运行大数据应用的处理器。目前，资源管理器可以根据大数据应用的优先级分配计算资源；或者，资源管理器为集群中运行的多个大数据应用均分计算资源。但是，处理器处理不同的大数据应用的效率不同，无法确保大数据应用的处理时延。因此，如何提供一种更合理的计算资源分配方法成为亟待解决的问题。

发明内容

本申请提供了资源调度方法、装置和管理设备，由此可以最大化利用集群中的计算资源运行应用，降低应用的处理时延，提升集群中计算资源的整体执行效率。

第一方面，本申请提供了一种资源调度方法，该方法可以由管理设备执行，具体包括如下步骤：管理设备获取到应用的资源需求后，根据资源需求指示的应用所需计算资源在多种计算资源组合中选择第一计算资源组合，将第一计算资源组合作为与应用匹配的计算资源组合分配给应用。多种计算资源组合中包括至少一种计算资源，至少一种计算资源中每种计算资源包括与计算资源的算力关联的资源。

如此，从多种计算资源组合中选择满足运行应用的算力的计算资源组合来运行应用，降低应用的处理时延，最大化地利用集群中的计算资源运行应用，提升集群中计算资源的整体执行效率，在有效时间内完成应用的任务。

在一种可能的实现方式中，根据应用的资源需求在多种计算资源组合中选择第一计算资源组合作为与应用匹配的计算资源组合，包括：管理设备根据应用的资源需求和多种计算资源组合对应用的算力量化值，在多种计算资源组合中选择运行应用的算力最强的计算资源作为第一计算资源组合。算力量化值用于指示计算资源运行应用的运算能力。

在另一种可能的实现方式中，根据应用的资源需求在多种计算资源组合中选择第一计算资源组合作为与应用匹配的计算资源组合，包括：管理设备根据应用的资源需求、多种计算资源组合对应用的算力量化值和资源调度策略，在多种计算资源组合中选择第一计算资源组合作为与应用匹配的计算资源组合。资源调度策略包括网络资源策略和存储资源策略。如此，结合应用的算力量化值和资源调度策略，进行综合评分分配资源，使得分配结果既考虑了资源调度策略，也考虑了应用对多样化算力的亲和性，给应用分配最大利用率的计算资源，提升资源利用效率和应用运行速度。

在另一种可能的实现方式中，根据所述应用的资源需求在多种计算资源组合中选择第一计算资源组合作为与所述应用匹配的计算资源组合之前，方法包括：管理设备从用户配置文件和/或数据库中获取多种计算资源组合对应用的算力量化值。

具体的，从用户配置文件和/或数据库中获取多种计算资源组合对应用的算力量化值，包括：管理设备从用户配置文件和/或数据库中获取多种计算资源组合中一部分计算资源组合对应用的算力量化值；利用算力预测模型，根据一部分计算资源组合对应用的算力量化值确定多种计算资源组合中另一部分计算资源组合对应用的算力量化值。