[发明专利]用于神经网络的分布式训练的方法和设备

说明书

公开了用于神经网络的分布式训练的训练方法和设备，所述训练设备包括：多个处理器，被配置为：各自接收与多个批中的对应批对应的多个数据，并且基于各自接收的与所述多个批中的对应批对应的数据来并行地执行训练，以各自生成神经网络的各个层的最终局部梯度；以及控制器，被配置为：接收所述多个处理器生成的各个层的最终局部梯度，基于接收的最终局部梯度来确定聚合梯度，并且基于聚合梯度来更新神经网络的参数。

本申请要求于2021年11月30日在韩国知识产权局提交的第10-2021-0169069号韩国专利申请的权益，所述韩国专利申请的全部公开出于所有目的通过引用包含于此。

技术领域

下面的描述涉及执行神经网络的分布式训练。

背景技术

正在开展研究以通过识别模型(诸如，分类器)从图像识别对象并对对象进行分类。识别模型可基于神经网络，神经网络可生成输入信息与输出信息之间的映射，并且可具有针对尚未用于训练的输入信息推断出相对正确的输出的泛化能力。神经网络可用于输出与输入信息的输入模式对应的识别结果。神经网络具有这样的能力：通过学习生成输入模式与输出模式之间的映射，并且针对尚未用于学习的输入模式生成相对正确的输出值。

发明内容

提供本发明内容以简化的形式介绍在下面的具体实施方式中进一步描述的构思的选择。本发明内容不意在确定要求保护的主题的关键特征或必要特征，也不意在用于帮助确定要求保护的主题的范围。

在一个总体方面，提供一种用于执行神经网络的分布式训练的训练设备，所述训练设备包括：多个处理器，被配置为：各自接收与多个批中的对应批对应的多个数据，并且基于各自接收的与所述多个批中的对应批对应的数据来并行地执行训练，以各自生成神经网络的各个层的最终局部梯度；以及控制器，被配置为：接收所述多个处理器生成的各个层的最终局部梯度，基于接收的最终局部梯度来确定聚合梯度，并且基于聚合梯度来更新神经网络的参数，其中，所述多个处理器中的每个执行训练的处理包括：基于与所述多个批中的对应批对应的数据，对神经网络的层执行前向操作，基于前向操作的结果，确定神经网络的损失，通过基于所述损失对神经网络的层执行反向操作，确定神经网络的每个层的局部梯度，响应于通过反向操作确定当前层的局部梯度，确定是否对针对前一层确定的局部梯度执行梯度裁剪，以及基于反向操作的结果和梯度裁剪的结果，确定最终局部梯度。

所述多个处理器中的每个还可被配置为：响应于在确定神经网络的第一层的第一局部梯度之后确定第二层的第二局部梯度，确定是否对第一局部梯度执行梯度裁剪。

所述多个处理器中的每个还可被配置为：响应于针对前一层的局部梯度的梯度裁剪检查处理完成，将前一层的最终局部梯度发送到控制器。

所述多个处理器中的每个还可被配置为：同时地确定当前层的局部梯度与将前一层的最终局部梯度发送到控制器。

控制器还可被配置为：将通过所述多个处理器确定的神经网络的各个层的局部梯度的平均值确定为聚合梯度。

所述多个处理器中的每个还可被配置为：基于针对前一层确定的局部梯度和阈值，确定是否执行梯度裁剪。

所述多个处理器中的每个还可被配置为：响应于确定执行梯度裁剪，将前一层的局部梯度改变为与阈值对应的值。

梯度裁剪可通过除所述多个处理器之外的处理器执行。

所述多个处理器中的每个还可被配置为：基于方差值、动量值和参数范数值中的任何一个或任何组合来执行梯度裁剪。

所述多个处理器可包括被配置为执行并行处理的图形处理器(GPU)。

执行前向操作的处理、确定所述损失的处理、确定每个层的局部梯度的处理、确定是否执行梯度裁剪的处理可通过所述多个处理器并行地执行。

控制器可以是所述多个处理器中的一个或多个、或者除所述多个处理器之外的另一处理器。