[发明专利]计算机集群资源分配系统和方法

说明书

技术领域

本发明属于计算机技术领域，特别涉及一种计算机集群资源分配系统和方法。

背景技术

计算机集群系统由计算节点、管理中心及相关网络环境组成。参见中国专利申请201010550046.2“计算机集群管理方法、装置和系统”。

每个计算节点拥有多个不同种类的物理设备(例如CPU、内存、网络带宽)，并且每个计算节点拥有的资源容量也各不相同。

当集群中的计算节点配置信息改变时，计算节点向集群的管理中心上报本计算节点的物理设备信息，各个计算节点周期性地分别向管理中心上报本计算节点的物理设备信息，物理设备信息包括资源容量信息和剩余容量信息。

管理中心根据各计算节点的物理设备信息，生成计算机集群的资源池。

当任务到达时，管理中心依据一定资源调度策略，为任务动态分配计算节点以及节点上的资源，从而达到完成任务、负载均衡、节电等目的。

对于计算任务，每个作业需要配置的资源也各不相同。例如，任务A每运行一个作业需要2个CPU和3GB内存；任务B每运行一个作业需要1个CPU和4GB内存。此外，对于每个作业，CPU和内存必须位于同一个计算节点上(例如，对于任务A，从计算节点1获得2个CPU，从计算节点2获得3GB内存是没有意义的)。因此如何高效公平地为计算任务分配计算节点资源是非常重要的。

现有的计算机集群资源分配方法，有max-min公平分配方法、贪心分配方法。

“在计算机集群中使用主要优势资源方法来公平分配各种资源”美国加州大学伯克利分校，技术报告，编号：UCB/EECS-2010-55,2010(A.Ghodsi,M.Zaharia,B.Hindman,A.Konwinski,S.Shenker,and I.Stoica,“Dominant resource fairness:Fair allocation of heterogeneous resources in datacenters,”University of California,Berkeley,Tech.Rep.No.UCB/EECS-2010-55,2010)，及“使用主要优势资源方法来公平分配多种资源”第八届USENIX网络系统设计和实现会议，2011,pp.24–37(A.Ghodsi,M.Zaharia,B.Hindman,A.Konwinski,S.Shenker,and I.Stoica,“Dominant resource fairness:Fair allocation of multiple resource types,”in Proceedings of the 8th USENIX conference on networked systems design and implementation.USENIX Association,2011,pp.24–37)，介绍了max-min公平分配方法，max-min公平分配方法为每个独立的计算节点单独分配资源，确保资源分配到达max-min公平，Max-min可以使得最紧缺的资源得到在任务之间公平分配的保证，但了max-min公平分配方法将多个计算节点割裂开来，孤立地分配各个节点上的资源，效率较低。

贪心分配方法中，管理节点依次为每个计算节点分配资源。在分配单个计算节点资源的过程中，管理节点挑选一个计算任务，选择原则是该计算任务使用节点资源能获得最多的作业数目。管理节点为该计算任务在单个计算节点上分配尽可能多的作业数目。如果计算节点上仍有资源剩余，管理节点将继续挑选次优的计算任务进行作业分配，直至资源耗尽。贪心分配方法，片面追求最大化分配的作业数，其分配方法是选取能够获得最多作业数的计算任务，将所有资源尽可能地分配给该计算任务，因此其必然导致极差的资源分配公平性。

发明内容

本发明要解决的技术问题是公平、高效的分配计算机集群资源。

为解决上述技术问题，本发明提供了一种计算机集群资源分配系统，其包括一管理中心、N个计算节点，N为正整数；管理中心同各个计算节点网络连接，每个计算节点上有M种资源，M为正整数；各个计算节点，分别向管理中心上报本计算节点的资源容量信息；

管理中心根据各计算节点的资源容量信息，生成计算机集群的资源容量矩阵；

管理中心在J个任务到达时，依据资源调度策略，为J个任务动态分配计算节点以及节点上的资源，J为正整数；