[发明专利]用于卷积神经网络的混合立方体存储系统及加速计算方法

说明书

本发明提供一种混合内存立方体存储系统，包括混合立方体和设置在所述混合立方体的电路逻辑层上的计算控制器、乘加加速器及缓存。其中计算控制器响应于接收的要进行乘加计算的指令，通过所述混合立方体的内存控制器读取要进行计算的数据存入至缓存中，并指示乘加加速器进行计算；该乘加加速器用于响应于来自所述计算控制器的指令，读取缓存中的数据来并行地进行多路乘加计算并将计算结果写入至缓存。这样，在卷积神经网络计算时大量的并行计算及其涉及的频繁访存操作都可以该混合内存立方体内部完成，充分利用了混合内存立方体内部极高的内存带宽和低访问延迟，加快了计算速度，使得卷积神经网络整体的计算效率得到了提升。

技术领域

本发明涉及神经网络及硬件加速技术，尤其涉及支持神经网络计算的加速方法及存储结构。

背景技术

卷积神经网络具有良好的容错能力、并行处理能力和自学习能力，被广泛应用在深度学习中作为基准神经网络架构。卷积神经网络的计算通常会涉及频繁的访存，降低访存延迟和提高访存带宽对于提高卷积神经网络的计算效率、降低计算功耗都有极大的好处。传统基于DRAM或SRAM的方式存储权重和中间计算结果的方法，并不能得到很好的效果。对于DRAM，其访存速度相较于SRAM要慢，访存带宽也相较于SRAM要小，对于神经网络的计算效率有很大的限制作用。而对于SRAM，虽然在访存速度和访存带宽上要略胜一筹，但是因为其高昂的价格，并不能提供很大的内存容量，也不适合具有大量计算数据的卷积神经网络计算。HMC(Hybrid Memory Cube，混合内存立方体)是一种新型的3D内存结构，由于其具有存储容量大、片上访存延迟小等特点，可能是一种合适应用于卷积神经网络计算中的存储计算载体，但如何利用这种新型内存结构更好地支持卷积神经网络计算，仍是亟需解决的问题。

发明内容

因此，本发明的目的是提供一种能较好地支持卷积神经网络计算的混合内存立方体结构及加速卷积神经网络计算的方法。

本发明的目的是通过以下技术方案实现的：

一方面，本发明提供了一种混合内存立方体存储系统，包括混合立方体和设置在所述混合立方体的电路逻辑层上的计算控制器、乘加加速器及缓存，

其中所述计算控制器用于响应于接收的指令指示所述混合立方体的内存控制器对所述混合立方体中的数据进行存取，读写缓存以及指示乘加加速器进行计算；

所述乘加加速器用于响应于来自所述计算控制器的指令，读取缓存中的数据来并行地进行多路乘加计算并将计算结果写入至缓存。

在上述系统中，所述乘加加速器可包括并行乘加器、寄存器和状态机，其中状态机响应于来自计算控制器的指令控制并行乘加器进行运算；并行乘加器响应于状态机的控制，基于从寄存器读取的数据并行地进行多路乘加计算并将计算结果写入到寄存器；寄存器用于存储从缓存读取的数据和来自并行乘加器的计算结果。

在上述系统中，所述并行乘加器可以由多个并联的乘加器构成。

在上述系统中，所述寄存器大小可取决于并行乘加器一次计算所需的数据的最大容量。

在上述系统中，所述计算控制器可以为轻量级处理器。

在上述系统中，所述计算控制器可响应于收到要进行存取数据的指令时，通过内存控制器从混合立方体中存取相关数据，并返回对所述指令的响应。

在上述系统中，所述计算控制器可响应于收到要进行乘加运算的指令时，通过内存控制器从混合立方体中读取要进行计算的数据并将其保存至缓存中，指示乘加加速器从缓存中读取相应数据进行运算，以及从缓存中读取来自乘加加速器的运算结果并通过内存控制器将其写入混合立方体中，同时返回对所述指令的响应。

又一方面，本发明提供了一种采用上述的存储系统进行加速计算的方法，包括：