[发明专利]用于分布式环境的异步任务管理装置及方法

权利要求书

1.一种用于分布式环境的异步任务管理装置，所述用于分布式环境的异步任务管理装置包括：

预处理单元，所述预处理单元基于训练样本以及预定的任务类型、计算节点的计算能力和对应的规模参数集合建立任务规模评估模型；

异步任务管理单元，所述异步任务管理单元在所述任务规模评估模型已被建立后接收来自外部的异步任务请求，并基于所述任务规模评估模型确定目标计算节点以及将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务；

其中，所述异步任务管理单元确定所述目标计算节点包括:步骤S1、解析接收到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；步骤S2、将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模；以及，步骤S3、获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点。

2.根据权利要求1所述的用于分布式环境的异步任务管理装置，其特征在于，每一个预定的任务类型具有与其相对应的规模参数的集合。

3.根据权利要求2所述的用于分布式环境的异步任务管理装置，其特征在于，以如下公式表示所述任务规模评估模型：

FT＝f(Type,C,params) (4)

其中，FT是任务的规模，Type是任务类型，C是计算节点的计算能力，params是任务的规模参数集合，即所述任务规模评估模型的输入为任务类型、计算节点的计算能力以及任务的规模参数集合，所述任务规模评估模型的输出是所评估的任务规模。

4.根据权利要求3所述的用于分布式环境的异步任务管理装置，其特征在于，以如下方式评估每个计算节点的计算能力：

假设分布式环境中具有n个计算节点，则根据如下公式评估各计算节点的实际计算能力：

其中，i为计算节点的编号,i＝1,2,…,n，j为该计算节点的硬件参数的编号、m为硬件参数的数量，X_j为第j项硬件参数，λ_j为对应于X_j的权重；

对上面公式得到的节点计算能力按下面的公式进行归一化处理，以得到计算节点的计算能力C_i：

其中，C'_max是所有节点实际计算能力最大值，C'_min是所有节点实际计算能力的最小值。

5.根据权利要求4所述的用于分布式环境的异步任务管理装置，其特征在于，基于训练样本以如下方式获得任务的运算规模以由此建立任务规模评估模型：

在同一计算机上运行不同任务类型的异步任务样本以获得异步任务样本的运行时间T，并对异步任务样本的运行时间进行线性处理且按照如下公式进行归一化，以获得异步任务样本的运算规模：

其中，FT是任务规模，T_min是所有运行时间的最小值，T_max是所有运行时间的最大值。

6.根据权利要求5所述的用于分布式环境的异步任务管理装置，其特征在于，所述预处理单元能够在空闲时间周期性地基于训练样本训练并修正所述任务规模评估模型。

7.根据权利要求6所述的用于分布式环境的异步任务管理装置，其特征在于，所述异步任务管理单元确定目标计算节点还包括在步骤S3之后执行:步骤S4、如果未找到匹配的目标计算节点，则周期性地执行步骤S3直至目标计算节点被确定。

8.一种用于分布式环境的异步任务管理方法，所述用于分布式环境的异步任务管理方法包括下列步骤：

(A1)基于训练样本以及预定的任务类型、计算节点的计算能力和对应的规模参数集合建立任务规模评估模型；

(A2)基于所述任务规模评估模型确定针对异步任务请求的目标计算节点，并将所述异步任务请求传送到所述目标计算节点以执行相关的异步任务；

其中，确定所述目标计算节点包括：

解析接收到的异步任务请求以获取与所述异步任务请求相关联的异步任务的任务类型和规模参数集合；

将所获取的任务类型和规模参数集合作为所述任务规模评估模型的输入以获得与所述异步任务请求相关联的异步任务的任务规模；以及，

获取空闲的计算节点列表，并将所获得任务规模与空闲的计算节点列表中的计算节点的计算能力进行匹配，以及将其计算能力与任务规模相减的绝对值最小的计算节点确定为目标计算节点。