[发明专利]一种低功耗的神经网络加速器装置

权利要求书

1.一种低功耗的神经网络加速器装置，包括CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、外部可读写随机存储器、可读写非易失性存储器、电源管理模块、两个电源域；其特征在于：

所述CPU即通用中央处理器，用于对芯片中各个子模块进行调度，并控制开关低频开启电源域B；

所述的神经网络加速模块，用于对神经网络的命令进行硬件加速，并支持权重拆分和按结构拆分的神经网络；

所述的只读存储模块，用于存储固化的神经网络权重参数和结构参数；

所述的内部可读写随机存储器为SRAM，用于缓存神经网络非固化部分的权重参数和结构参数、神经网络加速模块输入输出结果以及CPU的数据和程序；

所述的外部可读写随机存储器为DRAM，用于存储神经网络非固化部分的权重参数和结构参数、神经网络加速模块输入输出结果以及CPU的数据和程序；

所述的可读写非易失性存储器，用于存储非固化的神经网络权重参数和结构参数，CPU程序和数据；

所述的电源管理模块，用于管理芯片中多个电源域的电源开关状态；

所述的两个电源域，分为高频开启电源域A和低频开启电源域B；

所述的神经网络加速模块支持神经网络按层拆分，存放于内部可读写随机存储器、外部可读写随机存储器和只读存储模块，支持每层的权重按不同位拆分存储于内部可读写随机存储器、外部可读写随机存储器和只读存储模块中；

所述的只读存储模块为片内ROM，支持随机读取或顺序读取，但不支持直接写入更改，其访问功耗低于内部和外部可读写随机存储器，只读存储模块的面积小于内部可读写随机存储器，其访问带宽高于外部可读写随机存储器；部分或者全部神经网络的权重参数和结构参数存储到该只读存储模块上，支持对只读存储模块中神经网络权重参数和结构参数低成本的升级方法；

所述的低成本的升级方法包括：预留一定的只读存储模块的存储空间，用于升级更大的模型，只读存储模块的0和1配置节点在芯片版图设计时限制在一层掩膜内。

2.如权利要求1所述的一种低功耗的神经网络加速器装置，其特征在于：

所述的内部可读写随机存储器，访问功耗高于、面积大于只读存储模块，访问带宽高于外部可读写随机存储器，存储的数据能够实时更改；缓存部分神经网络临时计算数据、部分非固化的权重参数和结构参数以及其他小数据量的各种数据；

所述的外部可读写随机存储器，访问功耗高于内部可读写随机存储器，访问带宽低于内部可读写随机存储器，存储容量大于内部可读写随机存储器和只读存储模块，存储的数据能够实时更改；存储全部神经网络临时计算数据、非固化的权重参数和结构参数以及其他各种数据。

3.如权利要求1所述的一种低功耗的神经网络加速器装置，其特征在于：

所述的高频开启电源域A在芯片通电后开启，CPU、神经网络加速模块、只读存储模块、内部可读写随机存储器、电源管理模块工作在高频开启电源域A；所述的低频开启电源域B由CPU通过电源管理模块控制开启，外部可读写随机存储器和可读写非易失性存储器工作在低频开启电源域B。

4.如权利要求1所述的一种低功耗的神经网络加速器装置，其特征在于：

所述的神经网络加速模块支持按层拆分和恢复神经网络结构参数，并支持按不同位拆分和恢复权重参数，拆分后的结构参数和权重参数存储于内部可读写随机存储器、外部可读写随机存储器和只读存储模块；权重参数的拆分方式包括直接回填方式和相加方式。

5.如权利要求4所述的一种低功耗的神经网络加速器装置，其特征在于：

所述的按层拆分和恢复神经网络结构参数包括：采用链式结构把每一层连接起来，标明每层算法结构以及使用的权重地址和数据地址；对于固化的神经网络结构参数，该链式结构完整存储于只读存储模块，或部分存储于只读存储模块；对于非固化的神经网络结构参数，该链式结构完整存储于内部可读写随机存储器或外部可读写随机存储器中，或部分存储于内部可读写随机存储器或外部可读写随机存储器中。