[发明专利]一种异构集群中面向混合负载的任务调度方法及系统

摘要

本发明涉及一种异构集群中面向混合负载的任务调度方法及系统，包括以下步骤资源调度器接收机器心跳，维护机器的属性簇；作业管理器接收并解析作业，获得若干个任务；作业管理器为任务设置属性簇和约束需求，并将任务信息发送给资源管理器；资源调度器为任务匹配满足约束且最优的机器，并将任务与机器的匹配关系返回给作业管理器；作业管理器将任务下发到匹配机器上的执行器上，执行任务。本发明通过一种易拓展的约束描述方法来表示异构化的机器属性和任务需求，在此基础上，将硬约束作为过滤标准，将软约束作为选择标准，为任务分配最优机器，显著提高了任务的执行效率和系统的整体性能。

主权项

一种异构集群中面向混合负载的任务调度方法，其特征在于实现步骤如下：步骤1，资源调度器接收机器心跳，维护机器的属性簇；所述机器心跳是由执行器定时发送给资源调度器的、心跳内容为机器的属性簇；步骤2，作业管理器接收并解析作业，获得若干个任务；步骤3，作业管理器为任务设置属性簇和约束需求，然后将任务信息发送给资源调度器；步骤4，资源调度器收到任务信息后，为任务匹配满足约束且最优的机器，并将任务与机器的匹配关系返回给作业管理器；步骤5，作业管理器接收到任务与机器的匹配关系后，将任务下发到匹配机器上的执行器上，执行任务；所述步骤3具体实现步骤如下：步骤3.1：为任务设置易拓展的属性簇，所述属性簇包括多个键值(Key‑Value)对，其中键表示任务的属性，值则表示属性的具体值，任务的属性簇包括任务标示、执行命令、所需CPU资源、所需内存资源；步骤3.2：为任务设置硬约束需求，通过一个布尔表达式来表示任务的硬约束需求，如果存在多个硬约束，则将它们做“与运算”，仍然能够通过一个布尔表达式来表示多个硬约束需求；步骤3.3：为任务设置软约束需求，通过软约束需求链表来表示任务的多个软约束需求，链表中包含若干个元素，每个元素包括一个布尔表达式和一个估值，布尔表达式表明具体的软约束需求，估值用以量化满足软约束需求带来的执行效率的提升；步骤3.4：作业管理器将任务的属性簇和软硬约束需求发送给资源调度器，请求分配机器；所述步骤4具体实现步骤如下：步骤4.1：将接收到的任务记为“待调度任务”，初始化机器集合M，将所有机器放入M中，初始化备选机器列表为空；步骤4.2：从机器集合M中取出一个机器，记为“备选机器”，根据机器和任务的信息，计算得到待调度任务硬约束需求的值；步骤4.3：判断待调度任务的硬约束需求是否为真，如果为真，则将备选机器加入到备选机器列表中，并根据机器信息和任务的软约束链表，计算得到备选机器的约束估值；步骤4.4：从机器集合M去除备选机器，判断机器集合M是否为空，不为空则转至步骤4.2；步骤4.5：以约束估值为标准，在备选机器列表中选择约束估值最大的机器，记为待调度任务的匹配机器。