[发明专利]一种异构集群中面向混合负载的任务调度方法及系统

权利要求书

1.一种异构集群中面向混合负载的任务调度方法，其特征在于实现步骤如下：

步骤1，资源调度器接收机器心跳，维护机器的属性簇；所述机器心跳是由执行器定时发送给资源调度器的、心跳内容为机器的属性簇；

步骤2，作业管理器接收并解析作业，获得若干个任务；

步骤3，作业管理器为任务设置属性簇和约束需求，然后将任务信息发送给资源调度器；

步骤4，资源调度器收到任务信息后，为任务匹配满足约束且最优的机器，并将任务与机器的匹配关系返回给作业管理器；

步骤5，作业管理器接收到任务与机器的匹配关系后，将任务下发到匹配机器上的执行器上，执行任务；

所述步骤3具体实现步骤如下：

步骤3.1：为任务设置易拓展的属性簇，所述属性簇包括多个键值(Key-Value)对，其中键表示任务的属性，值则表示属性的具体值，任务的属性簇包括任务标示、执行命令、所需CPU资源、所需内存资源；

步骤3.2：为任务设置硬约束需求，通过一个布尔表达式来表示任务的硬约束需求，如果存在多个硬约束，则将它们做“与运算”，仍然能够通过一个布尔表达式来表示多个硬约束需求；

步骤3.3：为任务设置软约束需求，通过软约束需求链表来表示任务的多个软约束需求，链表中包含若干个元素，每个元素包括一个布尔表达式和一个估值，布尔表达式表明具体的软约束需求，估值用以量化满足软约束需求带来的执行效率的提升；

步骤3.4：作业管理器将任务的属性簇和软硬约束需求发送给资源调度器，请求分配机器；

所述步骤4具体实现步骤如下：

步骤4.1：将接收到的任务记为“待调度任务”，初始化机器集合M，将所有机器放入M中，初始化备选机器列表为空；

步骤4.2：从机器集合M中取出一个机器，记为“备选机器”，根据机器和任务的信息，计算得到待调度任务硬约束需求的值；

步骤4.3：判断待调度任务的硬约束需求是否为真，如果为真，则将备选机器加入到备选机器列表中，并根据机器信息和任务的软约束链表，计算得到备选机器的约束估值；

步骤4.4：从机器集合M去除备选机器，判断机器集合M是否为空，不为空则转至步骤4.2；

步骤4.5：以约束估值为标准，在备选机器列表中选择约束估值最大的机器，记为待调度任务的匹配机器。

2.根据权利要求1所述的异构集群中面向混合负载的任务调度方法，其特征在于：所述步骤1中，所述机器的属性簇包括多个键值(Key-Value)对，其中键表示机器属性，值则表示属性的具体值，其中属性包括机器主机名、IP地址、机器类型、机器架构、操作系统、CPU总数、内存总量、可用CPU、可用内存量、约束估值。

3.根据权利要求1所述的异构集群中面向混合负载的任务调度方法，其特征在于：所述步骤3中的约束需求包括硬约束和软约束；所述硬约束是任务执行的必要条件，在调度过程中必须得到满足；所述软约束是任务执行的偏好条件，应尽量满足以提升任务执行效率，不过如果无法满足则可以忽略，以免造成资源浪费和任务执行的延迟。

4.根据权利要求1所述的异构集群中面向混合负载的任务调度方法，其特征在于：所述步骤4.3中，计算备选机器的约束估值包括：

将备选机器的约束估值初始化为0；

遍历待调度任务的软约束链表，对于每个元素，计算得到其软约束需求，如果软约束需求为真，则当前的约束估值加上该软约束元素的估值，最后得到备选机器的约束估值。

5.一种实现权利要求1-4任意之一所述异构集群中面向混合负载的任务调度系统，其特征在于包括：作业管理器、资源调度器和执行器；所述作业管理器和资源调度器部署在主控节点上，其中：

作业管理器用于管理作业和任务，为任务设置属性簇和软硬约束需求，并将任务信息发送给资源调度器，请求任务所需的机器；

资源调度器用于接收执行器定时发送的机器心跳，在维护整个集群机器心跳的基础上，资源调度器可以接收作业管理器发送的任务信息，为任务匹配满足约束且最优的机器；

所述执行器部署在除主控节点外的其他所有机器上，定时向资源调度器上报机器心跳，并接收作业管理器下发的任务指令，负责具体执行任务。