[发明专利]用于神经网络计算的参差存储结构及神经网络计算方法

说明书

本发明提供一种用于神经网络计算的参差存储结构及神经网络计算方法，涉及数字信号处理技术领域。该参差存储结构包括：直接存储器访问器，用于从外部获取需要的权重数据；存储阵列，包括并行布置的多个存储器，存储器用于存储权重数据；广播网络，包括多个选择器，选择器用于将多个存储器分配给不同的计算簇，以实现不同大小特征图；控制器，连接广播网络，用于控制广播网络中的数据流以及各个选择器的开关；其中，存储阵列包含的存储器个数与计算簇的数量相等，存储器的存储容量根据存储器在广播网络中的重要性进行排列。本发明可以通过配置不同的广播网络适配不同大小的特征图，同时通过较为简单的连接网络，获得很高的速度。

技术领域

本发明涉及数字信号处理技术领域，尤其涉及一种用于神经网络计算的参差存储结构及神经网络计算方法。

背景技术

随着人工神经网络的火热，通用平台开始逐渐无法满足神经网络计算的高效的需求，于是在FPGA平台或是芯片上规划的专用于神经网络计算的架构应运而生。

在神经网络计算中，卷积神经网络和脉冲神经网络又是其中最火热的领域。其中，卷积神经网络作为人工神经网络的一种，已成为当前语义分析和图像识别领域的研究热点。卷积神经网络是一个多层的神经网络，每层由多个二维平面构成，而每个平面都是由不同的卷积核卷积而成，卷积之后的图层通过池化处理后生成特征图谱，传输给下层网络。脉冲神经网络则是近几年新成为热潮的神经网络，脉冲神经网络中的数据将脉冲信号输送给网络进行类似卷积的累加处理，一旦神经元达到了阈值电位，就会输出脉冲给下一级，随后达到电位的神经元会被重置。这种神经网络更符合人们对于人工神经网络的认识，输入脉冲神经网络的脉冲随着时间发生，这样在二进制编码中丢失的信息可以在脉冲的时间信息中重新获取。

针对这两种人工神经网络的特性，主流对卷积神经网络进行处理的方式都是用冯诺依曼架构的处理器，加入大量的运算单元来对人工神经网络进行加速，同时使用大位宽的存储器，使之满足神经网络计算单元的要求，但大位宽的存储器一般意味着复杂的片上网络，会使得存储器成为神经网络加速器的速度瓶颈，同时造成功耗浪费。

发明内容

为了解决目前神经网络加速器的处理速度较慢的问题，本发明提供了一种用于神经网络计算的参差存储结构及神经网络计算方法。

本发明一方面提供了一种用于神经网络计算的参差存储结构，包括：

直接存储器访问器，用于从外部获取需要的权重数据；

存储阵列，包括并行布置的多个存储器，存储器用于存储权重数据；

广播网络，包括多个选择器，选择器用于将多个存储器分配给不同的计算簇，以实现不同大小特征图；

控制器，连接广播网络，用于控制广播网络中的数据流以及各个选择器的开关；

其中，存储阵列包含的存储器个数与计算簇的数量相等，存储器的存储容量根据存储器在广播网络中的重要性进行排列。

根据本公开的实施例，存储器由不同大小的存储块组成。

根据本公开的实施例，存储块包括SRAM、寄存器或DRAM。

根据本公开的实施例，选择器包括多路选择器或物理开关。

根据本公开的实施例，存储器的存储容量根据存储器在广播网络中的重要性进行排列，包括：

设定存储阵列包含的存储器个数为N，N＝2ⁿ且n为正整数，则每个存储器都包含一个最底层的存储块；

编号为2k且k＝1，2，…，N/2的存储器堆叠高一层级的存储块，编号为4k且k＝1，2，…，[N/4]的存储器堆叠更高层级的存储块；

以此类推，直至存储阵列中的每个存储器中的存储块排列完成。