[发明专利]训练深度学习模型的方法、装置、设备以及存储介质

权利要求书

1.一种训练深度学习模型的方法，包括：

将训练数据划分为N个第一数据集，其中，N为大于1的整数；

根据所述N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果；

根据所述第一交换结果，与所述当前计算节点中的目标处理单元进行数据交换，得到第二交换结果；以及

利用所述第二交换结果，对深度学习模型进行训练。

2.根据权利要求1所述的方法，其中，所述根据所述N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果，包括：

确定每个所述目标计算节点中的对应处理单元；

将所述N个第一数据集中与每个所述对应处理单元对应的目标第一数据集发送至所述对应处理单元；

接收来自每个所述对应处理单元的第二数据集；以及

确定每个所述第二数据集以及所述N个第一数据集中除所述目标第一数据集之外的其他第一数据集，作为所述第一交换结果。

3.根据权利要求2所述的方法，其中，所述确定每个所述目标计算节点中的对应处理单元，包括：

获取所述当前计算节点中当前处理单元的第一单元编号；以及

确定所述目标计算节点中单元编号与所述第一单元编号匹配的处理单元，作为所述对应处理单元。

4.根据权利要求2或3所述的方法，其中，所述将所述N个第一数据集中与每个所述对应处理单元对应的目标第一数据集发送至所述对应处理单元，包括：

针对每个所述目标计算节点，

获取所述目标计算节点的节点编号i，其中，所述i为整数且1≤i≤N；以及

确定所述N个第一数据集中的第i个第一数据集作为所述目标第一数据集，并将所述目标第一数据集发送至所述目标计算节点中的对应处理单元。

5.根据权利要求1所述的方法，其中，所述根据所述第一交换结果，与所述当前计算节点中的目标处理单元进行数据交换，得到第二交换结果，包括：

根据所述计算节点集群内计算节点的总数量M，将所述第一交换结果分成M个第一数据，其中，所述M为大于1的整数；

将所述M个第一数据中与每个所述目标处理单元对应的目标第一数据发送至所述目标处理单元；

接收来自每个所述每个目标处理单元的第二数据；以及

确定每个所述第二数据以及所述M个第一数据中除所述目标第一数据之外的其他第一数据，作为所述第二交换结果。

6.根据权利要求5所述的方法，其中，所述将所述m个第一数据中与每个所述目标处理单元对应的目标第一数据发送至所述目标处理单元，包括：

获取所述当前计算节点中处理单元的总数量M’；

针对所述M个第一数据中的第j个第一数据，其中，j为整数且1≤j≤M’，根据以下公式确定中间参数y：

y＝(j-1)％M’+1，

将所述第j个第一数据发送至所述当前计算节点中第y个处理单元。

7.根据权利要求1所述的方法，其中，所述利用所述第二交换结果，对深度学习模型进行训练，包括：

将所述第二交换结果输入所述深度学习模型，得到输出结果；以及

根据所述输出结果，调整所述深度学习模型的参数。

8.一种训练深度学习模型的装置，包括：

划分模块，用于将训练数据划分为N个第一数据集，其中，N为大于1的整数；

第一交换模块，用于根据所述N个第一数据集，与当前计算节点所处的计算节点集群内的目标计算节点进行数据交换，得到第一交换结果；

第二交换模块，用于根据所述第一交换结果，所述当前计算节点中的目标处理单元进行数据交换，得到第二交换结果；以及

训练模块，用于利用所述第二交换结果，对深度学习模型进行训练。