[发明专利]三值权重卷积网络处理系统及方法

说明书

本发明提供一种三值权重卷积神经网络的处理系统。该系统包括：至少一个存储单元，用于存储数据和指令；至少一个控制单元，用于获得保存在所述存储单元的指令并发出控制信号；至少一个计算单元，用于从所述存储单元获得卷积神经网络中的一层的节点值和对应的三值权重值数据并通过执行加减操作获得下一层的节点值。本发明的处理系统减少了卷积神经网络计算过程中的数据位宽、提高了卷积运算速度、降低了存储容量及工作能耗。

技术领域

本发明涉及计算机技术领域，尤其涉及一种应用于三值权重卷积网络的处理系统。

背景技术

深度学习技术在近几年得到了飞速的发展，深度神经网络，尤其是卷积神经网络，在图像识别、语音识别、自然语言理解、天气预测、基因表达、内容推荐和智能机器人等领域取得了广泛的应用。通过深度学习获得的深度网络结构是一种运算模型，其中包含大量数据节点，每个数据节点与其他数据节点相连，各个节点间的连接关系用权重表示。伴随着神经网络复杂度的不断提高，神经网络技术在实际应用过程中存在占用资源多、运算速度慢、能量消耗大等问题。

在现有技术中，为解决上述问题，可以将三值权重卷积神经网络模型应用到图像识别、增强现实和虚拟现实等领域。值权重卷积神经网络通过将权重三值化(例如，采用1、0和-1表示权重和中间计算数据)减少了数据位宽，极大地降低了参数容量并且提高了网络模型运算速度。三值权重卷积神经网络的出现降低了图像识别等复杂系统运行所需要的硬件配置，扩展了卷积神经网络的应用领域。

然而，目前大部分的深度学习应用是使用中央处理器和图形处理单元等实现的，这些技术能效不高，在嵌入式设备或低开销数据中心等领域应用时存在严重的能效问题和运算速度瓶颈，难以满足应用的性能要求，因此，很难将其应用于移动电话、嵌入式电子设备等小型化轻量级设备中。

发明内容

本发明针对三值权重卷积神经网络的网络特征和计算特征，提供一种应用于三值权重卷积网络的处理系统及方法，以克服上述现有技术的缺陷。

根据本发明的第一方面，提供了一种三值权重卷积神经网络的处理系统。该系统包括：至少一个存储单元，用于存储数据和指令；至少一个控制单元，用于获得保存在所述存储单元的指令并发出控制信号；至少一个计算单元，用于从所述存储单元获得卷积神经网络中的一层的节点值和对应的三值权重值数据并通过执行加减操作获得下一层的节点值。

在本发明的系统中，所述计算单元包括卷积单元和累加器，其中，所述卷积单元接收卷积神经网络中的一层的节点值和对应的三值权重值数据，所述卷积单元的输出耦合到所述累加器。

在本发明的系统中，所述卷积单元包括数值取反单元、多路选择单元和加法器，其中，输入数据分别通过所述数值取反单元接入至所述多路选择单元以及直接接入至所述多路选择单元，三值权重值数据接入至所述多路选择单元以控制所述多路选择单元的信号选通，所述多路选择单元的输出接入至所述加法器。

在本发明的系统中，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。

在本发明的系统中，所述三值权重值进一步重映射为函数r(z)：

其中，z表示输入操作数，r(z)表示映射结果。

在本发明的系统中，在卷积时去除或不予考虑数值为0的权重值包括：针对数值为1或-1的权重值，设置与其相关联的步进值，该步进值用于指示当前权重值与下一个数值为1或-1的权重值之间的距离。

根据本发明的第二方面，提供了一种三值权重卷积神经网络的处理方法。该方法包括：获得卷积神经网络中的一层的节点值和对应的三值权重值数据；通过执行加减操作进行卷积来获得下一层的节点值。

在本发明的方法中，所述三值权重值为1，0和-1，其中，在卷积时去除或不予考虑数值为0的权重值。