[发明专利]一种基于高效复用数据流的神经网络处理器及设计方法

说明书

本发明提出一种基于高效复用数据流的神经网络处理器及设计方法，涉及神经网络模型计算的硬件加速技术领域，该处理器包括至少一存储单元，用于存储操作指令与运算数据；至少一计算单元，用于执行神经网络计算；控制单元，与所述至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；其中所述运算数据采用高效复用数据流的形式。本发明在神经网络处理过程中采用高效复用数据流，每次只需向计算单元阵列中的一列计算单元载入权重和数据，降低了片上数据带宽、提高了数据共享率、提升了能量效率。

技术领域

本发明涉及神经网络模型计算的硬件加速技术领域，特别涉及一种基于高效复用数据流的神经网络处理器及设计方法。

背景技术

随着机器学习技术的不断发展，深度神经网络已经成为认知与识别任务的最佳解决方案，在识别检测和计算机视觉领域引起了广泛关注，尤其在图像识别领域，深度神经网络已到达甚至超越人类的辨识准确度。

深度学习所得到的深度网络结构是一种运算模型，其中包含大量数据节点，每个数据节点与其他数据节点相连，各个节点间的连接关系用权重表示，主流的神经网络处理硬件包括通用图形处理器、专用处理器芯片和现场可编程逻辑阵列(FPGA)等，但是伴随神经网络复杂度的不断提高，神经网络技术在实际应用过程中占用资源多、运算速度慢、能量消耗大的问题日益突出，在移动平台或嵌入式平台中的适用性不高因此该技术在嵌入式设备或低开销数据中心等领域应用时存在严重的能效问题和运算速度瓶颈。

深度神经网络的规模不断扩大，增加了数据传送和数据计算的需求，由于在很多情况下数据传输比数据计算更消耗能量，因此，本发明提供一种基于高效复用数据流的神经网络处理器，通过优化神经网络处理器的数据调度方式，减少了数据传输带宽、增加了权重和数据的复用率、降低片上存储量，实现了工作能耗的降低。

发明内容

针对现有技术的不足，本发明提出一种基于高效复用数据流的神经网络处理器及设计方法。

本发明提出一种基于高效复用数据流的神经网络处理器，包括：

至少一存储单元，用于存储操作指令与运算数据；

至少一计算单元，用于执行神经网络计算；

控制单元，与所述至少一存储单元、所述至少一计算单元相连，用于经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；

其中所述运算数据采用高效复用数据流的形式。

所述神经网络处理器包括存储结构、控制结构、计算结构。

在所述计算单元阵列中，位于相同列的计算单元共享一组相同的数据；位于相同行的计算单元载入相同的一组权重，在每个计算周期，每个计算单元仅会载入一组权重的一个元素；位于不同行的计算单元会载入不同的权重。

计算单元中每组数据按照神经网络层深度方向排列，计算单元内不同行间的运算提现了计算单元的并行度。

所述高效复用数据流每次只载入一列数据与权重进入计算单元阵列，并且载入的数据与权重仅在相邻两列间传播。

本发明还提出一种基于高效复用数据流的神经网络处理器的设计方法，包括：

设置至少一存储单元，存储操作指令与运算数据；

设置至少一计算单元，执行神经网络计算；

设置控制单元，与所述至少一存储单元、所述至少一计算单元相连，经由所述至少一存储单元获得所述至少一存储单元存储的操作指令，并且解析所述操作指令以控制所述至少一计算单元；

其中所述运算数据采用高效复用数据流的形式。