[发明专利]用于分布式环境的异步任务管理装置及方法

说明书

本发明提出了用于分布式环境的异步任务管理装置及方法。其中，所述方法包括：基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

技术领域

本发明涉及异步任务管理装置及方法，更具体地，涉及用于分布式环境的异步任务管理装置及方法。

背景技术

目前，随着计算机和网络应用的日益广泛以及不同领域的业务种类的日益丰富，基于分布式环境的异步任务管理装置及方法变得越来越重要。

现有的异步任务管理装置及方法的基本工作原理如下：基于每个计算节点的负载情况进行任务分配以达到各个计算节点的负载均衡。

然而，现有的异步任务管理装置及方法存在如下问题：在计算节点存在差异并且计算能力不同的情况下，可能存在计算能力过度分配或者分配不足的情况，即计算能力较弱的计算节点分配到规模较大的任务，从而导致任务的执行时间过长，而计算能力较强的计算节点可能分配不到任务或者分配到规模较小的任务，从而导致任务分配不足，由此从整体上而言各个异步任务的完成时间难于达到最优。

因此，存在如下需求：提供能够优化异步任务分配并具有高的异步任务执行效率的用于分布式环境的异步任务管理装置及方法。

发明内容

为了解决上述现有技术方案所存在的问题，本发明提出了能够优化异步任务分配并具有高的异步任务执行效率的用于分布式环境的异步任务管理装置及方法。

本发明的目的是通过以下技术方案实现的：

一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装置包括：

预处理单元，所述预处理单元基于训练样本以及预定的任务类型和对应的规模参数集合建立任务规模评估模型；

异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务。

在上面所公开的方案中，优选地，每一个预定的任务类型具有与其相对应的规模参数的集合。

在上面所公开的方案中，优选地，以如下公式表示所述任务规模评估模型：

FT＝f(Type,C,params) (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

在上面所公开的方案中，优选地，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据如下公式评估计算节点的实际计算能力：

其中X_j为计算节点的硬件参数（例如CPU类型、内存大小等等）、λ_j为权重（其可按任务需求的不同而被设置为不同的值）；

对上面公式得到的节点计算能力按下面的公式进行归一化处理，以得到计算节点的计算能力C_i：

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

在上面所公开的方案中，优选地，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：