[发明专利]资源分配方法、主装置、从装置和分布式计算系统

说明书

本发明公开了一种资源分配方法、主装置、从装置和分布式计算系统。所述方法包括：获取在分布式集群的各物理节点上可使用的资源总量，为各计算任务设置标准资源限度，将两者下发到相应物理节点上的资源分配从装置中；当接收到提交的计算任务时，获取各物理节点上当前的可用资源；根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；将计算任务分配到资源充足的物理节点上，由资源充足的物理节点上的资源分配从装置在标准资源限度内为该计算任务分配资源。该技术方案能够避免出现多个计算任务争抢同一计算资源导致效率低下的问题。

技术领域

本发明涉及分布式计算技术领域，具体涉及资源分配方法、主装置、从装置和分布式计算系统。

背景技术

许多分布式系统都通过调度器来分配、调度计算资源，例如Hadoop可以利用Yarn进行资源调度。但是许多分布式计算系统是不支持调度器的，资源的分配方法往往不能满足用户的需求，可能导致效率低下，甚至出现错误。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的资源分配方法、主装置、从装置和分布式计算系统。

依据本发明的一个方面，提供了一种资源分配方法，其中，该方法应用于分布式计算系统的主节点上，所述分布式计算系统部署在分布式集群中，该方法包括：

获取在所述分布式集群的各物理节点上可使用的资源总量；

为各计算任务设置标准资源限度；

将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中；

当接收到提交的计算任务时，获取各物理节点上当前的可用资源；

根据该计算任务提交的计算任务中配置的资源需求和/或标准资源限度，以及各物理节点上当前的可用资源，确定可运行该计算任务的资源充足的物理节点；

将所述计算任务分配到资源充足的物理节点上，由所述资源充足的物理节点上的资源分配从装置在所述标准资源限度内为该计算任务分配资源。

可选地，所述分布式集群的各物理节点被多个分布式系统复用，所述分布式计算系统是所述多个分布式系统中的一个；

所述分布式计算系统在所述分布式集群的各物理节点上可使用的资源是根据各分布式系统的资源需求量确定的。

可选地，所述资源包括如下的一种或多种：

CPU资源、内存资源、网卡资源。

可选地，所述为各计算任务设置标准资源限度包括：在Cgroup limit配置文件中写入各计算任务可使用的标准资源限度；

所述将各物理节点上可使用的资源总量和所述标准资源限度下发到相应物理节点上的资源分配从装置中包括：为各物理节点生成对应的在Cgroup limit配置文件副本，在各Cgroup limit配置文件副本中写入在相应的物理节点上可使用的资源总量，将所述Cgroup limit配置文件副本下发到各资源分配从装置。

可选地，该方法还包括：按计算任务的业务类型，为各计算任务设置业务资源限度；

所述提交的计算任务在提交前，在相应的业务资源限度内配置资源需求。

依据本发明的另一方面，提供了一种资源分配方法，其中，该方法应用于分布式计算系统中的从节点上，所述分布式计算系统部署在分布式集群中，且各从节点对应部署在分布式集群的一个物理节点上，该方法包括：

获取各计算任务的标准资源限度和本物理节点上可使用的物理资源总量；