[发明专利]分布式数据处理系统、分布式计算任务部署系统及方法

权利要求书

1.一种分布式计算任务的部署系统，包括：

作业描述组件，基于作业类型描述作业神经网络模型以及获取作业将要被处理的计算资源，所述计算资源包括多个可执行并行计算的计算设备，并为作业数据进行并行运算的分片数据所属的前向运算任务节点、广播节点、后向运算任务节点以及梯度汇聚节点给出所属计算设备的位置标签；

模型参数节点配置组件，基于作业神经网络模型的描述，获取处理作业的模型参数，计算所有模型参数的总量，并负载均衡地将所有模型参数划分到几个模型参数节点，其中一个模型参数节点只被配置到一个计算设备上，并经由广播节点置于所述神经网络中其后继前向运算任务节点之前；以及

模型参数更新节点配置组件，与每个模型参数节点相对应，配置一个更新组件节点，其中一个模型参数更新节点只被配置在一个计算设备上，并连接到与该模型参数节点的对应的广播节点对应的梯度汇聚节点之后，而所述梯度汇聚节点布置在与该模型参数节点的对应的运算任务节点相对应的后向运算任务节点之后。

2.根据权利要求1所述的分布式计算任务的部署系统，还包括：

单一后继运算任务节点配置组件，遍历所述模型参数节点每个后继前向运算任务节点，为仅消费所述模型参数节点输出并仅具有单一输出的单一后继前向运算任务节点配置与所述模型参数节点相同的位置标签，并串联在所述模型参数节点与其对应的广播节点之间，以及在与所述模型参数节点和对应的广播节点对应的模型参数更新节点和梯度汇聚节点之间，配置与所述单一后继前向运算任务节点对应的后向运算任务节点。

3.一种分布式计算任务的部署方法，包括：

基于作业类型描述作业神经网络模型以及获取作业将要被处理的计算资源，所述计算资源包括多个可执行并行计算的计算设备，并为作业数据进行并行运算的分片数据所属的前向运算任务节点、广播节点、后向运算任务节点以及梯度汇聚节点赋予所属计算设备的位置标签；

基于作业的神经网络模型，获取处理作业的模型参数，计算所有模型参数的总量，并负载均衡地将所有模型参数划分成多个部分，配置对应数量的模型参数节点，并为每个模型参数节点只被配置一个计算设备的位置标签；

在每个模型参数节点及其后继前向运算任务节点之间插入广播节点，并配置相同的位置标签；

为与任意一个模型参数节点相对应的一个模型参数更新节点赋予相同的计算设备的位置标签；以及

在所述模型参数更新节点与对应的后向运算任务节点之间插入与所插入的广播节点对应的梯度汇聚节点，并配置相同的位置标签。

4.根据权利要求3所述的分布式计算任务的部署方法，还包括：

遍历所述模型参数节点每个后继前向运算任务节点，将仅消费所述模型参数节点输出并仅具有单一输出的单一后继前向运算任务节点配置的位置标签修改为与所述模型参数节点相同的位置标签，并串联在所述模型参数节点与其对应的广播节点之间；以及

修改与所述单一后继前向运算任务节点对应的后向运算任务节点的位置标签为与所述模型参数节点相同的位置标签，并串联到与所述模型参数更新节点和梯度汇聚节点之间。

5.一种分布式计算任务的部署方法，包括：

基于作业类型描述作业神经网络模型以及获取作业将要被处理的计算资源，所述计算资源包括多个可执行并行计算的计算设备，并为作业数据进行并行运算的分片数据所属的前向运算任务节点赋予所属计算设备的位置标签

基于作业的神经网络模型的前向部分，获取处理作业的模型参数，计算所有模型参数的总量，并负载均衡地将所有模型参数划分成多个部分，配置对应数量的模型参数节点，并为每个模型参数节点只被配置一个计算设备的位置标签；

在每个模型参数节点及其后继前向运算任务节点之间插入广播节点，并配置相同的位置标签；

基于已经配置的神经网络模型的前向部分，对应配置神经网络模型的后向部分，包括配置与任意一个模型参数节点相对应的一个模型参数更新节点使其具有相同的位置标签，配置任意一个广播节点对应的梯度汇聚节点并具有相同的位置标签以及与任意一个前向运算任务节点对应的后向运算任务节点并具有相同的位置标签。

6.根据权利要求5所述的分布式计算任务的部署方法，还包括：

遍历所述模型参数节点每个后继前向运算任务节点，将仅消费所述模型参数节点输出并仅具有单一输出的单一后继前向运算任务节点配置的位置标签修改为与所述模型参数节点相同的位置标签，并串联在所述模型参数节点与其对应的广播节点之间；以及

修改与所述单一后继前向运算任务节点对应的后向运算任务节点的位置标签为与所述模型参数节点相同的位置标签，并串联到与所述模型参数更新节点和梯度汇聚节点之间。