[发明专利]一种任务分配方法及装置

摘要

本发明提供了一种任务分配方法及装置，方法包括：根据分布式计算模型中每一个计算节点分别对应的资源信息，将当前计算节点确定为计算优先型计算节点或存储优先型计算节点；获取目标计算任务，并将其解析为具备时间顺序的至少两个计算过程；解析至少两个计算过程，将当前计算过程解析为至少两个并行任务；解析每一个并行任务，以确定其分别对应的属性信息；根据每一个并行任务分别对应的属性信息，将当前并行任务确定为数据密集型并行任务或计算密集型并行任务；将计算密集型并行任务分配给计算优先型计算节点，并将数据密集型并行任务分配给存储优先型计算节点。通过本发明的技术方案，可减少目标计算任务的计算时长。

主权项

1.一种任务分配方法，其特征在于，包括：获取外部分布式计算模型中每一个计算节点分别对应的资源信息，根据每一个计算节点分别对应的资源信息将当前计算节点确定为计算优先型计算节点或存储优先型计算节点；获取目标计算任务，将目标计算任务解析为具备时间顺序的至少两个计算过程；按顺序解析至少两个计算过程，在当前计算过程可以被解析为至少两个并行任务时，将当前计算过程解析为至少两个并行任务；解析每一个并行任务，以确定每一个并行任务分别对应的属性信息；根据每一个并行任务分别对应的属性信息，将当前并行任务确定为数据密集型并行任务或计算密集型并行任务；将每一个计算密集型并行任务分别分配给至少一个计算优先型计算节点，并将每一个数据密集型并行任务分别分配给至少一个存储优先型计算节点；每一个并行任务分别对应的属性信息的权重均置为1；资源需求信息至少包括如下三种申请信息：内存资源申请信息、IO资源申请信息及CPU资源申请信息；还包括：A1：将每一个并行任务分别对应的内存资源申请信息的权重、IO资源申请信息的权重以及CPU资源申请信息的权重均置为1；A2：根据每一个并行任务分别对应的计算量、数据量以及算法复杂度，确定是否存在至少一个目标并行任务出现数据倾斜，如果是，则将目标并行任务对应的内存资源申请信息的权重、IO资源申请信息的权重以及CPU资源申请信息的权重均加1，然后执行步骤A3；否则，执行步骤A3；A3：将每一个数据密集型并行任务分别对应的内存资源申请信息的权重、IO资源申请信息的权重加1，以及将每一个计算密集型并行任务分别对应的CPU资源申请信息的权重加1；根据每一个计算密集型并行任务分别对应的资源需求信息，将每一个计算密集型并行任务分别分配给至少一个计算优先型计算节点，并根据每一个数据密集型并行任务分别对应的资源需求信息，将每一个数据密集型并行任务分别分配给至少一个存储优先型计算节点，包括：根据每一个计算密集型并行任务分别对应的内存资源申请信息、IO资源申请信息、CPU资源申请信息以及当前计算密集型并行任务对应的CPU资源申请信息的权重，将每一个计算密集型并行任务分别分配给至少一个计算优先型计算节点，并根据每一个数据密集型并行任务分别对应的内存资源申请信息、IO资源申请信息、CPU资源申请信息以及当前数据密集型并行任务对应的内存资源申请信息的权重、IO资源申请信息的权重，将每一个数据密集型并行任务分别分配给至少一个存储优先型计算节点。