[发明专利]神经网络分布式训练系统、方法、装置、计算单元及介质

权利要求书

1.一种神经网络分布式训练系统，其特征在于，包括：神经网络芯片和主机；神经网络芯片包括多个计算单元，各计算单元上分别设置有内存屏障；

各计算单元，用于根据数据分片进行前向传播计算，得到单机代价函数；根据单机代价函数计算与单机代价函数匹配的梯度分区；在满足内存屏障释放时机时，将梯度分区发送至主机；

主机，用于对接收到的全部计算单元的梯度分区进行全局梯度规约，得到全局梯度，并将全局梯度反馈至各计算单元；

各计算单元，还用于根据接收的全局梯度，对单机计算参数进行更新；

其中，内存屏障释放时机用于控制各计算单元在全部计算单元均完成梯度分区的计算后，向主机发送梯度分区；

其中，预先获取神经网络芯片中各计算单元的个数；神经网络芯片中各计算单元的个数用于设定目标计数器；目标计数器指用于对处于完成状态的计算单元的个数进行计数操作的计数器。

2.根据权利要求1所述的系统，其特征在于，神经网络分布式训练系统为数据并行模式。

3.根据权利要求1所述的系统，其特征在于，各计算单元在每轮训练计算得到梯度分区之前，预先将本计算单元的梯度状态设置为未处理状态；各计算单元在每轮训练计算得到梯度分区之后，将本计算单元的梯度状态修改为完成状态。

4.一种神经网络分布式训练方法，由如权利要求1-3任一项所述的神经网络分布式训练系统中的计算单元执行，其特征在于，包括：

根据数据分片进行前向传播计算，得到单机代价函数；

根据单机代价函数计算与单机代价函数匹配的梯度分区；

在满足内存屏障释放时机时，将梯度分区发送至主机；

接收主机反馈的全局梯度，根据全局梯度对单机计算参数进行更新；

其中，内存屏障释放时机用于控制各计算单元在全部计算单元均完成梯度分区的计算后，向主机发送梯度分区；

其中，在满足内存屏障释放时机时，将梯度分区发送至主机，包括：

根据获取神经网络芯片中各计算单元的个数，设定目标计数器；

在检测到本计算单元的梯度状态为完成状态时，将目标计数器的数目减一；

待目标计数器的数目清零时，将梯度分区发送至主机。

5.根据权利要求4所述的方法，其特征在于，在根据单机代价函数计算与单机代价函数匹配的梯度分区之后，还包括：

将本计算单元的梯度状态由未处理状态修改为完成状态。

6.一种神经网络分布式训练装置，其特征在于，包括：

前向计算模块，用于根据数据分片进行前向传播计算，得到单机代价函数；

反向计算模块，用于根据单机代价函数计算与单机代价函数匹配的梯度分区；

数据发送模块，用于在满足内存屏障释放时机时，将梯度分区发送至主机；

参数更新模块，用于接收主机反馈的全局梯度，根据全局梯度对单机计算参数进行更新；

其中，内存屏障释放时机用于控制各计算单元在全部计算单元均完成梯度分区的计算后，向主机发送梯度分区；

其中，数据发送模块具体用于：根据获取神经网络芯片中各计算单元的个数，设定目标计数器；在检测到本计算单元的梯度状态为完成状态时，将目标计数器的数目减一；待目标计数器的数目清零时，将梯度分区发送至主机。

7.一种计算单元，其特征在于，所述计算单元包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求4-5中任一项所述的神经网络分布式训练方法。

8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求4-5中任一项所述的神经网络分布式训练方法。