[发明专利]一种神经网络计算装置和方法

说明书

本申请提供了一种神经网络计算装置及方法，所述装置用于执行人工神经网络训练计算；所述神经网络训练运算包括神经网络多层训练运算，本申请提供的技术方案具有成本低、能耗低的优点。

技术领域

本申请总体上涉及人工神经网络，具体地涉及一种神经网络计算装置和方法。

背景技术

神经网络又称人工神经网络，人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。人工神经网络涉及到多种算法，其中全连接层作为人工神经网络中的一种重要算法，被广泛的应用在各种人工神经网络模型中。

现有的神经网络运算基于通用处理器进行神经网络运算，现有的通用处理器，仅仅支持浮点数据的运算，对于神经网络运算，尤其涉及到比较复杂的运算，因此其运算量大，并且内存要求高，现有的神经网络运算基于浮点数据来运算对内存要求较高，因此现有的方案能耗高、成本高。

发明内容

本申请的一个方面提供了一种神经网络计算装置及方法，该装置及方法采用定点数据进行运算，相对于浮点数据，定点数据能够节省内存，减少运算量，因此其具有降低能耗，降低成本的优点。

一方面，提供一种神经网络计算装置，所述装置用于执行人工神经网络训练计算；所述神经网络训练运算包括神经网络多层训练运算，所述多层训练运算中包括至少一层第i层，所述第i层的正向运算或反向运算中至少有部分数据为定点数据运算，上述i为大于等于1的整数；所述计算装置包括：控制器单元、运算单元和转换单元，其中，控制器单元与运算单元以及转换单元连接；所述第i层训练运算中包括第i层正向运算和第i层反向运算；

所述第i层正向运算包括：

控制器单元，用于获取第i层的输入神经元数据、第i层权值数据以及第i层正向计算指令；

控制器单元，还用于解析该第i层计算指令得到多个正向运算指令，将第i层输入神经元数据以及第i层权值数据发送给转换单元，将该多个运算指令发送给运算单元；

转换单元，用于将该第i层输入神经元数据以及第i层权值数据中的全部或部分执行浮点类型与定点类型转换得到全部定点数据或混合数据，将全部定点数据或混合数据发送给运算单元，所述混合数据包括：部分定点数据以及部分浮点数据；

所述转换单元，还用于依据float＝int*scale*2^point执行浮点类型与定点类型的转换；其中，float为浮点类型数值，int为定点类型数据值，scale为定点类型的缩放比例值；point为小数点位置值；

运算单元，用于依据多个正向运算指令对全部定点数据执行定点运算或对混合数据执行混合运算得到第i层的正向输出结果；

所述第i层反向运算包括：

控制器单元，用于获取第i层的输入神经元数据、第i层权值数据、第i层输入神经元梯度以及第i层反向计算指令；

控制器单元，还用于解析该第i层计算指令得到多个反向运算指令，将第i层输入神经元数据、第i层权值数据以及第i层输入神经元梯度发送给转换单元，将该多个运算指令发送给运算单元；

转换单元，用于将该第i层输入神经元数据、第i层权值数据以及第i层输入神经元梯度中的全部或部分执行浮点类型与定点类型转换得到全部定点数据或混合数据，将全部定点数据或混合数据发送给运算单元，该混合数据包括：部分定点数据以及部分浮点数据；

运算单元，用于依据多个正向运算指令对全部定点数据执行定点运算或对混合数据执行混合运算得到第i层的权值梯度以及第i层输出结果梯度；采用第i层的权值梯度与第i层权值进行更新；

所述混合运算包括：对部分定点数据执行定点运算以及对部分浮点数据执行浮点运算。