[发明专利]分布式数据处理系统及其方法

权利要求书

1.一种分布式数据处理系统，用于在所述多个计算设备上对数据进行并行处理，每个计算设备包含前向数据处理组件和后向数据处理组件，其中至少一个计算设备含有其他计算设备不具有的一个模型参数组件以及与一个所述模型参数组件对应的模型参数更新组件，所述模型参数组件通过与其对应的广播组件将其含有的一组将被并行处理的数据所使用的模型参数输入到其他计算设备的广播组件，以及所述模型参数更新组件从与其对应的梯度汇聚组件获取对应的全局梯度值进行更新处理。

2.根据权利要求1所述分布式数据处理系统，其中每个计算设备的广播组件将模型参数输入到对应的前向数据处理组件执行前向数据处理和输入到后向数据处理组件执行后向数据处理。

3.根据权利要求1所述分布式数据处理系统，其还包括：

一个或多个串联在所述模型参数组件和其对应的广播组件之间的多个运算任务组件，所述多个运算任务组件中每一个运算任务组件为单输入与单输出的运算任务组件；以及

一个或多个串联在所述模型参数更新组件和其对应的梯度汇聚组件之间的多个运算任务组件，所述多个运算任务组件中每一个运算任务组件为单输入与单输出的运算任务组件。

4.根据权利要求1所述分布式数据处理系统，其中与所述模型参数组件相连的所述广播组件将模型参数组件中的模型参数输入到所述模型参数组件所在计算设备上的与所述模型参数组件对应的前向运算组件和后向运算组件，并且还输入到其他并行计算设备上的并行广播组件，以便该并行广播组件将所接收到的模型参数输入到并行的前向运算组件和后向运算组件。

5.一种分布式数据处理方法，包括：

将待处理数据按照分布式数据处理架构的计算设备的数量分片成多个分片数据发送到各个计算设备，执行前向数据处理和后向数据处理，

将模型参数集合划分成多个子集，将一个子集只分布到一个计算设备上的模型参数组件；

一个模型参数组件将自身维护的参数通过与其相连的一个广播组件发送到各个并行处理分片数据的其他计算设备的对应一个广播组件，以便各个其他计算设备上的前向数据处理组件和后向数据处理组件基于所获得模型参数对分片数据的处理。

6.根据权利要求5所述的分布式数据处理方法，还包括：

与和该模型参数组件相连的广播组件对应的一个梯度汇聚组件获取其他计算设备上对应的梯度汇聚组件发送来的梯度值，从而获取全局梯度值，并传输到与该模型参数组件对应的一个模型参数更新组件，以便模型参数更新组件进行模型参数更新处理。