[发明专利]一种深度学习模型的训练方法、装置、设备及可读介质

权利要求书

1.一种深度学习模型的训练方法，其特征在于，包括以下步骤：

基于最小单位的整数倍对待处理数据进行拆分以得到若干组微数据，并将深度学习模型的网络层拆分到多个计算设备上；

基于所述网络层的训练顺序将所述若干组微数据逐次输入到对应的所述计算设备中进行计算；

响应于当前组所述微数据或其计算结果在当前所述计算设备完成计算，将在当前所述计算设备的计算结果输入到下一所述网络层对应的所述计算设备中进行计算，并将下一组所述微数据或其计算结果输入到当前所述计算设备中进行计算；以及

最高层网络层将所述若干组微数据的计算结果汇总并进行损失函数计算，并基于所述网络层的反向顺序将所述若干组微数据的计算结果逐次输入到对应的计算设备中进行反向计算。

2.根据权利要求1所述的深度学习模型的训练方法，其特征在于，还包括：

基于数据并行算法对数据集进行处理，得到若干待处理数据。

3.根据权利要求1所述的深度学习模型的训练方法，其特征在于，基于最小单位的整数倍对待处理数据进行拆分以得到若干组微数据包括：

基于预设数据对待处理数据进行拆分，使得到的每组微数据的数目均为所述预设数据，其中所述预设数据为最小单位的整数倍。

4.根据权利要求1所述的深度学习模型的训练方法，其特征在于，将深度学习模型的网络层拆分到多个计算设备上包括：

将深度学习模型的网络层基于计算效率拆分到多个计算设备上；和/或

将深度学习模型的网络层平均拆分到多个计算设备上；和/或

将深度学习模型的网络层基于处理顺序拆分到多个计算设备上。

5.根据权利要求1所述的深度学习模型的训练方法，其特征在于，基于所述网络层的训练顺序将所述若干组微数据逐次输入到对应的所述计算设备中进行计算包括：

将第一组微数据输入到包含第一层网络层的第一计算设备中；

响应于所述第一组微数据完成在所述第一计算设备中的计算，将第二组微数据输入到所述第一计算设备中。

6.根据权利要求1所述的深度学习模型的训练方法，其特征在于，最高层网络将所述若干组微数据的计算结果汇总并进行损失函数计算包括：

最高层网络将所述若干组微数据的计算结果作和，并基于得到的和进行损失函数计算。

7.根据权利要求1所述的深度学习模型的训练方法，其特征在于，基于所述网络层的反向顺序将所述若干组微数据的计算结果逐次输入到对应的计算设备中进行反向计算包括：

响应于当前组所述微数据的计算结果在当前所述计算设备完成反向计算，将在当前所述计算设备的计算结果输入到上一所述网络层对应的所述计算设备中进行计算，并将下一组所述微数据的计算结果输入到当前所述计算设备中进行计算。

8.一种深度学习模型的训练装置，其特征在于，包括：

拆分模块，配置用于基于最小单位的整数倍对待处理数据进行拆分以得到若干组微数据，并将深度学习模型的网络层拆分到多个计算设备上；

输入模块，配置用于基于所述网络层的训练顺序将所述若干组微数据逐次输入到对应的所述计算设备中进行计算；

处理模块，配置用于响应于当前组所述微数据或其计算结果在当前所述计算设备完成计算，将在当前所述计算设备的计算结果输入到下一所述网络层对应的所述计算设备中进行计算，并将下一组所述微数据或其计算结果输入到当前所述计算设备中进行计算；以及

反向处理模块，配置用于最高层网络层将所述若干组微数据的计算结果汇总并进行损失函数计算，并基于所述网络层的反向顺序将所述若干组微数据的计算结果逐次输入到对应的计算设备中进行反向计算。

9.一种计算机设备，其特征在于，包括：

至少一个处理器；以及

存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现1-7任意一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-7任意一项所述方法的步骤。