[发明专利]一种基于近似计算的二值权重卷积神经网络硬件加速器计算装置

说明书

本发明公开了一种基于近似计算的二值权重卷积神经网络硬件加速器的计算模块。硬件加速器的计算模块可接收输入神经元以及二值卷积核(权重)并进行快速的卷积乘累加计算。计算模块使用补码数据表示形式，主要包含了优化的近似二值乘法器，一个压缩器树，创新的近似加法器及用于串行地累加部分和的暂存器。除此之外，针对优化的二值近似乘法器，提出了两种误差补偿方案，能在极少增加硬件资源开销的前提下使二值近似乘法器带来的误差得到降低或完全消除。本发明通过优化的计算单元，能够使使用该计算模块的二值权重卷积神经网络硬件加速器的关键路径大大缩短，并减少了面积损耗和功耗，适用于需要使用卷积神经网络的低功耗嵌入式系统。

技术领域

本发明设计计算机及电子信息技术领域，特别涉及一种基于近似计算的二值权重卷积神经网络硬件加速器的计算模块。

背景技术

深度卷积神经网络模型在诸多领域譬如图像分类、动作检测、语音识别以及其他大数据分析的任务中取得了极大的突破和成功。一方面，随着卷积神经网络的效果变得越来越好，其本身拓扑结构也在不断加深，参数数量也达到了10的6次方及以上级别，这带来了计算复杂度的极大提升，所需的计算能力爆炸性增长。另一方面，嵌入式系统仅能够提供有限的资源，其功耗也受限在一定范围内，现有常用的使用大规模GPU的解决方案虽然有较高的吞吐率，但其功耗过高(约250W)，难以应用于嵌入式系统中。

二值权重卷积神经网络是一种简化的卷积神经网络模型，其最早由加拿大蒙特利尔大学的Matthieu Courbariaux等人提出，后又经过Itay hubara、Mohammad Rasteg等人的改进。此模型通过特别的训练方式将卷积神经网络的权重训练为二值的+1和-1，这使得模型的计算复杂度大大降低，模型的大小也能够被压缩达到32倍。

然而尽管如此，对于深度卷积神经网络，即使参数二值化能够使得复杂度有所降低，其仍然需要大量的计算，直接应用于嵌入式系统中很难满足实时性和低功耗的要求。

在二值权重卷积神经网络中的核心计算在于卷积层的乘累加计算，这涉及了多个数据(从几百到几千个)的计算，如何达到高速低功耗且不会对系统计算精度带来明显误差，是二值权重卷积神经网络加速器设计的关键。

发明内容

本发明旨在解决二值权重卷积神经网络应用于功耗受限而又需求实时性的嵌入式系统的技术问题，或至少提出一种有用的商业选择。为此，本发明的目的在于提出一种基于近似计算的二值权重卷积神经网络硬件加速器的计算模块，以完成大量输入神经元的二值权重乘累加计算。在不明显降低二值权重卷积神经网络计算精度的前提下，设计了专门优化的近似二值乘法器及对应的两种补偿方案和近似加法器，能够缩短最长路径，减少面积以及降低功耗。除此之外，使用了压缩器树代替传统的加法器树，消除了最长路径与输入数据位宽的依赖性，并且不增加面积的消耗。

从该计算模块的整体上来看，其包含了：

1.多个输入神经元输入端，用于接收输入神经元数据值，所述多个数据输入端包括四个输入通道，每个输入通道若干个的数据输入端；

2.多个二值权重(卷积核)输入端。所述二值权重输入端包括四个输入通道，每个输入通道若干个权重值的输入端；

3.多个近似二值乘法器，用于进行二值权重与输入神经元的乘法计算。四个输入通道，每个输入通道有若干个近似二值乘法器；

4.一个压缩器树。用于将若干个并行输入通道，每个输入通道若干个输入神经元在进行二值乘法计算后的结果进行快速相加；此压缩器树包含多个3:2压缩器和4:2压缩器；

5.第一近似加法器，用于将压缩器树输出的两个数值结果进行相加；

6.一个串行累加单元，用于将上述单元的运算结果进行串行累加，或是与偏置项结合。

在二值权重卷积神经网络硬件加速器的计算模块的一些实施例中，计算模块中的串行累加单元，包含了：