[发明专利]支持离散数据表示的人工神经网络反向训练装置和方法

摘要

本公开提供了一种支持离散数据表示的用于执行人工神经网络反向训练的装置，包括控制器单元、互联模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的反向训练。使用本装置进行人工神经网络反向计算的过程中的权值、神经元值等数据均支持离散形式表示或连续形式表示。

主权项

一种支持离散数据表示的用于执行人工神经网络反向训练的装置，包括指令缓存单元、控制器单元、数据访问单元、互联模块、主运算模块、多个从运算模块，其中：指令缓存单元用于缓存指令；控制器单元用于从指令缓存单元读取指令，并将该指令译码成控制互联模块、主运算模块、以及从运算模块行为的微指令；数据访问单元用于从内存向主运算模块和各从运算模块的相应数据缓存单元中写离散表示或连续表示的数据或从所述数据缓存单元向内存读离散表示或连续表示的数据；在每层神经网络反向训练开始计算的阶段，主运算模块通过互联模块向所有的从运算模块传输本层的输入梯度向量，在从运算模块的计算过程完成后，互联模块逐级将各从运算模块的输出梯度向量部分和两两相加得到本层的输出梯度向量；主运算模块用于在每一层的计算过程中，利用本层的输出梯度向量完成后续计算，当输入数据是离散数据与连续数据的混合数据时，从运算模块针对不同离散数据采取预先设置的相应计算方式；以及每个从运算模块利用相同的输入梯度向量和各自的离散或连续的权值数据，并行地计算出相应的输出梯度向量部分和，当输入数据是离散数据与连续数据的混合数据时，从运算模块针对不同离散数据采取预先设置的相应计算方式。