[发明专利]一种训练装置

说明书

本公开提供了一种训练装置，包括：数据处理模块；以及运算模块，其与所述数据处理模块连接，用于接收所述数据处理模块处理后的数据进行运算。本公开训练装置，可有效加速反向训练部分，也可用于整个神经网络的训练流程加速，提高了训练及运算速度，降低了训练功耗，提高了运算的有效性。

技术领域

本公开涉及人工智能技术领域，尤其涉及一种稀疏训练装置。

背景技术

深度神经网络是目前许多人工智能应用的基础，其在语音识别、图像处理、数据分析、广告推荐系统、汽车自动驾驶等多方面得到了突破性的应用，使得深度神经网络被应用在了生活的各个方面。但是，深度神经网络的运算量巨大，一直制约着其更快速的发展和更广泛的应用。当考虑运用加速器设计来加速深度神经网络的运算时，巨大的运算量，必然会带了很大的能耗开销，同样制约着加速器的进一步的广泛应用。

在神经网络的运算中，主要包括两部分，正向推测和反向训练。然而对于现有的加速器来说，大多都只支持正向推测部分，而没有考虑反向训练部分于是，这也带来了一个问题就是，加速器只能够加速正向推测部分，无法加速反向训练部分，也就无法完成神经网络的整个训练过程，具有明显的局限性。

发明内容

(一)要解决的技术问题

为了解决或者至少部分缓解上述技术问题，本公开提供了一种稀疏训练装置。本公开稀疏训练装置，可以支持稀疏或稠密的神经网络的正向推测部分，也可以加速反向训练部分，能够用于整个神经网络的训练流程加速。

(二)技术方案

根据本公开的一个方面，提供了一种训练装置，包括：

数据处理模块，用于对输入数据进行压缩或扩展；以及，

运算模块，与所述数据处理模块连接，用于接收所述数据处理模块处理后的数据进行运算。

在一些实施例中，所述数据处理模块包括：

数据压缩单元，用于根据一压缩判断条件对输入数据进行压缩；

以及数据扩展单元，用于根据一扩展判断条件对输入数据进行扩展。

在一些实施例中，所述数据扩展单元，用于对输入数据进行扩展，其将压缩的稀疏的数据扩展为非压缩格式。

在一些实施例中，所述压缩判断条件及扩展判断条件包括阈值判断条件或函数映射判断条件。

在一些实施例中，所述阈值判断条件，包括：小于一给定阈值，大于一给定阈值，在一给定取值范围内或在一给定取值范围外。

在一些实施例中，所述数据压缩单元根据数据的稀疏索引值对输入数据进行筛选和压缩，得到待运算的数据；或根据数据本身的值进行判断，从而筛选并压缩得到符合所述压缩判断条件的数值。

在一些实施例中，所述数据压缩单元根据突触数据的稀疏索引值对输入的神经元数据进行筛选和压缩，得到待运算的神经元数据，或根据神经元数据的稀疏索引值对输入的突触数据进行筛选和压缩，得到待运算的突触数据。

在一些实施例中，所述数据压缩单元根据突触本身的值与一给定阈值相比较，筛选并压缩得到绝对值不小于给定阈值的突触数据，或根据神经元本身的值与一给定阈值相比较，筛选并压缩得到绝对值不小于给定阈值的神经元数据。

在一些实施例中，所述数据处理模块还用于根据一梯度值判断条件确定是否将梯度值及待运算的数据发送至运算模块。

在一些实施例中，所述梯度值判断条件包括阈值判断条件或函数映射判断条件。

在一些实施例中，所述阈值判断条件，包括：小于一给定阈值，大于一给定阈值，在一给定取值范围内或在一给定取值范围外。