[发明专利]一种低功耗的神经网络加速器装置

说明书

本发明涉及一种低功耗的神经网络加速器架构。现有技术功耗高、启动慢，数据吞吐量大。本发明包括CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、外部可读写随机存储器、可读写非易失性存储器、电源管理模块、两个电源域。神经网络加速模块，用于对神经网络的命令进行硬件加速，并支持权重拆分和按结构拆分的神经网络；只读存储模块，用于存储固化的神经网络权重参数和结构参数；内部可读写随机存储器为SRAM，外部可读写随机存储器为DRAM；两个电源域分为高频开启电源域A和低频开启电源域B。本发明升级过程中不需要更换所有掩膜，只需要更改其中一层掩膜，大幅降低了升级成本。

技术领域

本发明属于神经网络算法技术领域，具体涉及一种低功耗的神经网络加速器装置。

背景技术

近些年来随着神经网络算法的研究不断深入，其准确率在很多应用场合超过了所有传统机器学习算法。神经网络算法逐渐开始取代传统算法，开始被部署到终端设备上面。但是由于神经网络算法虽然准确率表现很好，但是其计算量非常巨大，从而导致内存带宽和整体功耗消耗很大。终端设备往往是嵌入式设备，有些甚至是干电池供电，功耗要求很高，带宽也很窄。

为了解决这个矛盾现在的方案大多采用云端加终端的方案进行部署，即终端做采集和预处理，云端做神经网络计算，暂时解决了这个矛盾。但是这种方案有明显的缺陷，在于必须连接网络，这就导致了延时问题，断网问题，功耗问题和安全问题。延时问题指的是，对于一些识别问题实时性好坏直接影响用户体验，但是如果是联网的终端实时性在信号差的情况下无法保证。断网问题指的是，有时候无法连接网络则设备无法工作。功耗问题指的是，虽然神经网络计算的功耗是节省下来了，但是由于设备要保证实时响应，必须保持网络连接无法做到快速启动，从而无法彻底关断主芯片和内存电源，导致即使触发事件很少也无法实现1个月以上级别的待机。这种长时间待机的场景在物联网应用中普遍存在，除此之外儿童玩具领域也要求较高。安全问题指的是，很多场合神经网络识别的图像和声音是私人数据。这些数据即使通过简单映射和加密，也不能完全保证黑客无法截取和破解。离线识别是最安全的解决途径。

为了解决云端加终端方案的不足，近来有些公司推出了神经网络加速芯片。这些芯片的加速方式大多围绕对计算本地化。采用的技术一般是低比特量化，熵编码压缩，大规模矩阵运算加速。从而部分解决了本地算力不足和功耗过高的问题。但是对于物联网中要求的超低功耗还是无法解决。原因是虽然采用了压缩技术但是权重还是过大，每次运行时候都需要导入权重导致系统启动速度较慢，无法做到断电实时启动，从而无法实现长时间待机。此外其带宽需求虽然有所下降，但是对于低成本方案，带宽瓶颈还是非常明显。其内存访问功耗得到一定程度的改善，但也需要继续优化。

为了进一步的降低带宽，降低功耗和加快启动速度。我们提出了一种低功耗的神经网络加速芯片架构。使得带宽和功耗进一步降低，且大大加快启动速度，从而支持断电快速启动。同时由于神经网络算法升级较快，我们也提供了一定的算法升级空间。

发明内容

本发明的目的在于针对上述提到的对于神经网络加速芯片的要求，提供一种低功耗的神经网络加速器芯片装置。

为了实现上述目的，本发明的具体技术方案是：

包括CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、外部可读写随机存储器、可读写非易失性存储器、电源管理模块、两个电源域。

所述CPU即通用中央处理器，用于对芯片中各个子模块进行调度，并控制开关低频开启电源域B。

所述的神经网络加速模块，用于对神经网络的命令进行硬件加速，并支持权重拆分和按结构拆分的神经网络；

所述的只读存储模块，用于存储固化的神经网络权重参数和结构参数；

所述的内部可读写随机存储器为SRAM，用于缓存神经网络非固化部分的权重参数和结构参数、神经网络加速模块输入输出结果以及CPU的数据和程序；