[发明专利]非标量数据的大数据集的约简和广播操作的并行处理

摘要

本申请涉及非标量数据的大数据集的约简和广播操作的并行处理的方法、系统和装置，包括编码在存储介质上的指令，用于执行梯度向量和类似结构化数据的约简，所述梯度向量和类似结构化数据例如在以由节点之间的至少两个维度上的连接定义的网格或环面拓扑组织的节点上并行生成。所述方法提供了拓扑中的节点之间的并行计算和通信。

主权项

1.一种用于处理训练数据的方法，所述方法包括：在以包括节点的行和列的环面拓扑组织的多个节点中的每个节点上训练机器学习模型的相应副本，其中，每个节点在相应训练数据批次上并行训练，由此在所述训练之后每个节点保持由所述训练得到的相应梯度向量；通过执行操作来组合所述节点中的相应梯度向量以生成最终梯度向量，所述操作包括：通过在所述节点上执行的代码，对所述环面的行并行执行第一环形算法而不进行广播，以在每一行中生成该梯度向量的每个相应不相交场的组合数据，由此当该行处理完成时，每一列包含该梯度向量数据的相应相同不相交场的所有组合数据，所述第一环形算法是改进的旋转钳式算法；并且然后通过在所述节点上执行的代码，在所述环面的列中的每一列中执行第二环形算法，包括向每一列中的所有节点广播该列中的相应最终列结果；并且然后跨所述环面的每一行复制所述最终列结果，由此所述环面的每个节点保持所述最终梯度向量。