[发明专利]数据中心资源管理系统及作业调度方法

说明书

技术领域

本发明属于计算机系统技术领域，尤其涉及提高数据中心资源共享效率的方法。

背景技术

数据中心(DataCenter)通常是指在一个物理空间内实现信息的集中处理、存储、传输、交换、管理的场所，由位于同一个机房的一个或者多个机群组成。机群是由众多服务器或工作站(workstation)通过高速网络连接起来构成的计算机系统，构成机群的服务器或工作站被称为节点。

近年来，互联网应用发展迅速，呈现出应用类型多，应用规模大(活跃用户量、访问量和业务数据量)等特征，使得支撑互联网应用的数据中心规模急剧扩大，由几百台、几千台扩展至几万台甚至是几十万台规模。并且，由于应用负载特征的多样性、数据中心节点资源的多样性以及节点资源在使用过程中的动态性，给数据中心机群作业调度带来了很大的困难。如何合理地调度作业(例如：互联网应用)，高效地共享机群资源，提高数据中心资源利用率，是数据中心资源管理的关键问题。

一般的数据中心资源管理系统如附图1所示，采用资源分区的方法将数据中心资源划分为多个独立的分区(多个独立的小机群)，根据应用和资源的特征，为每一个分区(机群)设置不同的作业调度策略，在一定的规则下，不同分区间可以租借部分资源。这种方法简单、易实现，但是存在机群数量多，规模小，作业不能跨分区有效共享资源的现象，造成资源碎片；此外，租借式的资源共享方法缺乏灵活性和即时性，导致作业无法快速扩容和缩容，不能很好地适应当前互联网应用的需求，造成资源利用率低，应用成本较高。

发明内容

因此，本发明的目的在于克服上述现有技术的缺陷，提供一种兼顾公平和容量的数据中心调度方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种数据中心资源管理系统，所述系统包括位于数据中心的多个物理节点和数据中心资源管理器，所述数据中心资源管理器以组为单位来管理和分配物理节点上的资源，一个或多个组共享数据中心的多个物理节点上的资源，每个组各自拥有资源配额和作业调度算法，所述每个组的资源配额为该组可以使用的最低的资源使用数量，每个组的作业能运行于数据中心中的任何满足作业运行要求的物理节点上。

上述系统中，数据中心资源管理器可以以配置文件方式来对组进行管理，在所述配置文件中，为每个组配置的属性包括：名称、资源配额、有权向该组提交作业的用户、作业调度策略、作业抢占调度策略、优先级、已使用的资源数量。

上述系统中，数据中心资源管理器可以通过修改配置文件来建立组、删除组或改变每个组的属性。

上述系统中，其中用户或者应用可以向多个有提交作业权限的组提交作业，但同一作业能且只能提交给一个组。

上述系统中，其中数据中心资源管理器还用于进行作业调度。

另一方面，本发明提供了一种用于上述系统的作业调度方法，所述方法包括：

步骤1，计算每个组的优先级；

步骤2，选择要参与作业调度的组；

步骤3，对所选择的组进行作业调度。

上述方法中，所述步骤1可以按照如下公式来计算每个组的优先级：

一个组的优先级＝所有组的资源配额的最小公倍数/该组已用资源数量。

上述方法中，在所述步骤2之前还包括对多个组按照优先级从高到低进行排序的步骤。

上述方法中，所述步骤2按照下面的优先顺序来选择要参与作业调度的组：

(1)选择优先级最高且有等待作业的组；

(2)选择比该组优先级高的所有组等待作业个数为0，而该组是有等待作业的组；

(3)选择前面优先级高的、参与了作业调度但不成功的组，且该组已用资源小于其资源配额的优先级高的组。

上述方法中，步骤3)包括

步骤31，根据所选择的组的作业调度策略进行作业调度；

步骤32，如果作业调度成功，则转至步骤1；如果作业调度不成功，判断是否需要进行作业抢占调度；

步骤33，对所选择的组进行作业抢占调度；

步骤34，如果作业抢占调度成功，则睡眠一段时间，转至步骤1；

否则，判断所选择的组是否是优先级最低的组，如果是，则睡眠一段时间，转至步骤1，否则选择下一个组，并判断其已用资源的数量是否小于其资源配额，如果小于，则转至步骤31，否则睡眠一段时间，转至步骤1。

上述方法中，步骤32可以采用下面的步骤来判断是否需要进行作业抢占调度：

当一个组的已用资源小于“其资源配额×第一阈值”的值时，需要进行抢占调度；