[发明专利]神经网络训练方法及相关产品

权利要求书

1.一种集成电路芯片装置上执行的神经网络的训练方法，该神经网络包含n层，所述n取值范围为大于等于2的整数，其特征在于，所述方法应用于集成电路芯片装置，所述装置包括：第一输入缓存、第二输入缓存和处理电路，所述处理电路包括：计算器，所述方法包括如下步骤：

接收训练指令，依据该训练指令确定第一层输入数据和第一层权值组数据，计算装置通过第一层输入数据和第一层权值组数据执行神经网络的n层正向运算得到正向运算的第n输出结果；

所述处理电路依据所述第n输出结果得到第n输出结果梯度，依据所述训练指令获取第n层反向运算的第n反向运算，依据第n输出结果梯度、第n层输入数据、第n层权值组数据以及第n反向运算得到第n反向运算复杂度，依据所述第n反向运算复杂度确定第n输出结果梯度、第n层输入数据、第n层权值组数据对应的第n反向数据类型，将第n输出结果梯度、第n层输入数据、第n层权值组数据以第n反向数据类型执行神经网络的第n层反向运算得到第n层权值组梯度和第n层输入数据梯度；应用所述第n层权值组梯度对第n层权值组数据进行更新；所述第n反向数据类型包括：定点类型或浮点类型；第一输入缓存、第二输入缓存分别存储第n层权值组数据和第n层权值组梯度；

将第n层输入数据梯度作为第n-1层的第n-1输出结果梯度执行n-1层方向运算得到n-1层权值组梯度，应用n-1层权值组梯度更新对应层的权值组数据，所述权值组数据包括：至少二个权值。

2.根据权利要求1所述的方法，其特征在于，所述依据所述第n反向运算复杂度确定第n输出结果梯度、第n层输入数据、第n层权值组数据对应的第n反向数据类型，包括：

将第n反向运算复杂度与预设阈值比较，如所述第n反向运算复杂度高于所述预设阈值，确定所述第n反向数据类型为定点类型，如所述第n反向运算复杂度低于或等于所述预设阈值，计算装置确定所述第n反向数据类型为浮点类型。

3.根据权利要求2所述的方法，其特征在于，所述方法在依据所述第n反向运算复杂度确定第n输出结果梯度、第n层输入数据、第n层权值组数据对应的第n反向数据类型之后还包括：

确定所述第n输出结果梯度、第n层输入数据、第n层权值组数据属于的第n+1反向数据类型，如所述第n+1反向数据类型与所述第n反向数据类型不同，将属于第n+1反向数据类型的所述第n输出结果梯度、第n层输入数据、第n层权值组数据转换成属于第n反向数据类型的所述第n输出结果梯度、第n层输入数据、第n层权值组数据。

4.根据权利要求1所述的方法，其特征在于，如所述n层反向运算为卷积运算，卷积输入数据为所述第n层输入数据，卷积核为所述第n输出结果梯度，

第n反向运算复杂度＝α*C*kW*kH*M*N*W*C*H；

其中，α为卷积系数，取值范围为大于1；C、kW、kH、M为卷积核四个维度的值，N、W、C、H为卷积输入数据四个维度的值；

如所述复杂度大于设定阈值，确定该第n反向数据类型为浮点数据类型，确定该卷积输入数据以及卷积核是否为浮点数据，如该卷积输入数据以及卷积核不为浮点数据，将该卷积输入数据转换成浮点数据，将卷积核转换成浮点数据，然后将卷积输入数据、卷积核以浮点数据类型执行卷积运算。

5.根据权利要求1所述的方法，其特征在于，如所述第n反向运算为：矩阵乘矩阵运算，所述输入数据为第n层输入数据，所述权值为所述第n输出结果梯度；

复杂度＝β*F1*G*E*F2；其中，β为矩阵系数，取值范围为大于等于1，F1、G为第n层输入数据的行、列值，E、F2为权值的行、列值；

如所述复杂度大于设定阈值，确定该第n反向数据类型为浮点数据类型，确定该第n层输入数据以及权值是否为浮点数据，如该第n层输入数据以及权值不为浮点数据，将该第n层输入数据转换成浮点数据，将权值转换成浮点数据，然后将第n层输入数据、权值以浮点数据类型执行矩阵乘矩阵运算。