[发明专利]用于执行人工神经网络反向训练的装置和方法

说明书

本披露提供了一种用于执行人工神经网络反向训练的装置，包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块。使用该装置可以实现多层人工神经网络的反向训练。对于每一层来说，首先对输入梯度向量进行加权求和计算出本层的输出梯度向量。该输出梯度向量乘以下一层在正向运算时的激活函数的导数值可以得到下一层的输入梯度向量。将输入梯度向量与正向运算时的输入神经元对位相乘得到本层权值的梯度，然后可以根据所得到的本层权值的梯度来更新本层的权值。

技术领域

本披露总体上涉及人工神经网络，具体地涉及一种用于执行人工神经网络反向训练的装置和方法。

背景技术

多层人工神经网络被广泛应用于模式识别，图像处理，函数逼近和优化计算等领域，多层人工网络在近年来由于其较高的识别准确度和较好的可并行性，受到学术界和工业界越来越广泛的关注。

一种支持多层人工神经网络反向训练的已知方法是使用通用处理器。该方法通过使用通用寄存器堆和通用功能部件执行通用指令来支持上述算法。该方法的缺点之一是单个通用处理器的运算性能较低，无法满足通常的多层人工神经网络运算的性能需求。而多个通用处理器并行执行时，通用处理器之间相互通信又成为了性能瓶颈。另外，通用处理器需要把多层人工神经网络反向运算译码成一长列运算及访存指令序列，处理器前端译码带来了较大的功耗开销。

另一种支持多层人工神经网络反向训练的已知方法是使用图形处理器(GPU)。该方法通过使用通用寄存器堆和通用流处理单元执行通用SIMD指令来支持上述算法。由于GPU是专门用来执行图形图像运算以及科学计算的设备，没有对多层人工神经网络运算的专门支持，仍然需要大量的前端译码工作才能执行多层人工神经网络运算，带来了大量的额外开销。另外GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈。另外，GPU只有较小的片上缓存，多层人工神经网络的模型数据(权值)需要反复从片外搬运，片外带宽成为了主要性能瓶颈，同时带来了巨大的功耗开销。

发明内容

本披露的一个方面提供了一种用于执行人工神经网络反向训练的装置，包括指令缓存单元、控制器单元、直接内存访问单元、H树模块、主运算模块、以及多个从运算模块，其中：指令缓存单元用于缓存指令；控制器单元用于从指令缓存单元读取指令，并将该指令译码成控制H树模块、主运算模块、以及从运算模块行为的微指令；直接内存访问单元用于从内存向主运算模块和各从运算模块的相应数据缓存单元中写数据或从所述数据缓存单元向内存读数据；H树模块用于，在每层神经网络反向训练开始计算的阶段，主运算模块通过H树模块向所有的从运算模块传输本层的输入梯度向量，在从计算模块的计算过程完成后，H树模块逐级将各从计算模块的输出梯度向量部分和两两相加得到本层的输出梯度向量；主运算模块用于在每一层的计算过程中，利用本层的输出梯度向量完成后续计算；以及每个从运算模块利用相同的输入梯度向量和各自的权值数据，并行地计算出相应的输出梯度向量部分和。

本披露的另一个方面提供了一种使用上述装置执行单层人工神经网络反向训练的方法。

本披露的另一方面提供了一种使用上述装置执行多层人工神经网络反向训练的方法。

附图说明

为了更完整地理解本披露及其优势，现在将参考结合附图的以下描述，其中：

图1示出了根据本披露实施例的用于执行人工神经网络反向训练的装置的整体结构的示例框图。

图2示意性示出了根据本披露实施例的用于执行人工神经网络反向训练的装置中H树模块的结构。

图3示出了根据本披露实施例的用于执行人工神经网络反向训练的装置中主运算模块结构的示例框图。

图4示出了根据本披露实施例的用于执行人工神经网络反向训练的装置中从运算模块结构的示例框图。