[发明专利]神经网络训练方法及相关产品

说明书

本披露提供一种集成电路芯片装置上执行的神经网络的训练方法及相关产品，该神经网络包含多层，所述方法包括如下步骤：接收训练指令，依据该训练指令确定第一层输入数据和第一层权值数据，计算装置通过第一层输入数据和第一层权值数据执行神经网络的n层正向运算得到第n输出结果；依据第n输出结果得到第n输出结果梯度，依据所述训练指令获取第n层反向运算的第n反向运算，计算装置依据第n输出结果梯度、第n层输入数据、第n层权值组数据以及第n反向运算得到第n反向运算复杂度。本披露提供的技术方案具有计算量小，功耗低的优点。

技术领域

本披露涉及神经网络领域，尤其涉及一种神经网络训练方法及相关产品。

背景技术

人工神经网络(Artificial Neural Network，即ANN)，是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点(或称神经元)之间相互联接构成。现有的神经网络的运算基于CPU(Central Processing Unit，中央处理器)或GPU(英文：Graphics Processing Unit，图形处理器)来实现神经网络的正向运算，此种正向运算的计算量大，功耗高。

发明内容

本披露实施例提供了一种神经网络训练方法及相关产品，可提升计算装置的处理速度，提高效率。

第一方面，提供一种集成电路芯片装置上执行的神经网络的训练方法，该神经网络包含n层，其特征在于，所述方法包括如下步骤：

接收训练指令，依据该训练指令确定第一层输入数据和第一层权值组数据，计算装置通过第一层输入数据和第一层权值组数据执行神经网络的n层正向运算得到正向运算的第n输出结果；

依据所述第n输出结果得到第n输出结果梯度，依据所述训练指令获取第n层反向运算的第n反向运算，依据第n输出结果梯度、第n层输入数据、第n层权值组数据以及第n反向运算得到第n反向运算复杂度，依据所述第n反向运算复杂度确定第n输出结果梯度、第n层输入数据、第n层权值组数据对应的第n反向数据类型，将第n输出结果梯度、第n层输入数据、第n层权值组数据以第n反向数据类型执行神经网络的第n层反向运算得到第n层权值组梯度和第n层输入数据梯度；应用所述第n层权值组梯度对第n层权值组数据进行更新；所述第n反向数据类型包括：定点类型或浮点类型；

将第n层输入数据梯度作为第n-1层的第n-1输出结果梯度执行n-1层方向运算得到n-1层权值组梯度，应用n-1层权值组梯度更新对应层的权值组数据，所述权值组数据包括；至少二个权值。

第二方面，提供一种集成电路芯片装置,所述集成电路芯片装置用于执行神经网络的训练运算，所述神经网络包括n层；所述集成电路芯片装置包括：处理电路以及外部接口；

所述外部接口，用于接收训练指令；

所述处理电路，用于依据该训练指令确定第一层输入数据和第一层权值组数据，计算装置通过第一层输入数据和第一层权值组数据执行神经网络的n层正向运算得到正向运算的第n输出结果；

所述处理电路，还用于依据所述第n输出结果得到第n输出结果梯度，依据所述训练指令获取第n层反向运算的第n反向运算，依据第n输出结果梯度、第n层输入数据、第n层权值组数据以及第n反向运算得到第n反向运算复杂度，依据所述第n反向运算复杂度确定第n输出结果梯度、第n层输入数据、第n层权值组数据对应的第n反向数据类型，将第n输出结果梯度、第n层输入数据、第n层权值组数据以第n反向数据类型执行神经网络的第n层反向运算得到第n层权值组梯度和第n层输入数据梯度；应用所述第n层权值组梯度对第n层权值组数据进行更新；所述第n反向数据类型包括：定点类型或浮点类型；