[发明专利]动态多组态CNN加速器架构与操作方法

说明书

一种卷积神经网络运算(CNN)加速器，该加速器至少包括：第一子加速器和第二子加速器，该第一子加速器包括：I个卷积运算处理器，J个标量运算处理器和K个非线性激活运算处理器；该第二子加速器包括：X个卷积运算处理器，Y个第一标量运算处理器和Z个非线性激活运算处理器；上述I～K，X～Z均大于0；且满足“I不等于X”，“J不等于Y”和“K不等于Z”这三个关系式中的至少一个。待处理的CNN运算至少包含第一部分CNN运算和第二部分CNN运算，该第一子加速器和该第二子加速器分别执行第一部分和第二部分CNN运算。

技术领域

本发明是有关于一种CNN加速器，且特别是有关于一种由多个“处理器结构相同”，且“核心数量不同”子加速器所构成的CNN加速器。

背景技术

CNN演算法或模型目前已经成为电脑视觉重要的发展基础；而这些CNN模型的运算，基本上都包含大量的卷积运算量和传输数据量，因此需耗费较长的运算时间；尤其CNN模型运算同时具备高平行度和高依赖性，必需去探讨如何改善加速器硬件设计以加速执行上述CNN模型运算。

首先，CNN运算的中间暂态输出数据量庞大，但重复利用率低；如此需要大量数据量进出计算装置，往往会造成数据使用带宽的占用。如表一所示，因为受限于存储器带宽有限，依据已知设计架构，单纯持续提升卷积运算核心数目，所能达到提升加速器运算速度的增加量逐渐饱和。例如：运算核心数量由1024核增加到2048核，硬件运算能力的使用率由20％下降到10％，而运算处理帧速度仍是维持10fps(每秒帧数frame per second)。

表一

其次，不同的CNN模型会使用到多种不同长宽的卷积核心，例如可能包含1x7、7x1、1x3、3x1、3x3、1x1等，与逐渐单调变深的通道数；例如mobilenet模型同时具备很深(64～512)的通道和很浅(＝1)的通道数量。如下表二所示：即使在相同核心数加速器架构下，若操作在不同模式，也有不同的使用效率与速度；因此如何去细切网络模型，根据硬件核心数量和操作模式，安排最佳化流程，来提升加速器使用效率，改善加速器运算速度变成一项重要课题。

表二

发明内容

本发明关于一种CNN加速器，且特别是有关于一种由多个“处理器结构相同”且“核心数量不同”子加速器所构成的CNN加速器。该加速器用以执行卷积神经网络运算，该卷积神经网络运算可切割成多个子部分运算，该多个子部分运算至少包含第一子部分运算和第二子部分运算。该卷积神经网络运算加速器至少两个子加速器，该至少两个子加速器至少包括：第一子加速器和第二子加速器。该第一子加速器包括：I个第一卷积运算处理器，J个第一标量运算处理器，和K个第一非线性激活运算处理器。该第二子加速器包括：X个第二卷积运算处理器，Y个第二标量运算处理器，和Z个第二非线性激活运算处理器。本申请所所得子加速器“处理器结构相同”指：每个子加速器内部都有卷积运算处理器，标量运算处理器和非线性激活运算处理器，上述I～K，X～Z均为大于0的自然数，如此每个子加速器单独就可以执行卷积神经网络运算，减少与外部存储器传输数据需求，降低存储器传输数据带宽需求。本申请所说的子加速器“核心数量不同”指：该第一子加速器和该第二子加速器间具有“不同运算核心数量关系”，该“不同运算核心数量关系”满足指“I不等于X”，“J不等于Y”和“K不等于Z”这三个关系式中的至少一个。

根据本发明的实施例，该至少两个子加速器还包含第三子加速器，该第三子加速器包括：R个第一卷积运算处理器，S个第一标量运算处理器，和T个第一非线性激活运算处理器；上述R～T均为大于0的自然数。该第一子加速器和该第三子加速器间具有“不同运算核心数量关系”，该“不同运算核心数量关系”指满足“I不等于R”，“J不等于S”和“K不等于T”这三个关系式中的至少一个。该多个子部分运算还包含第三部分卷积神经网络运算，其中第三子加速器独立执行该第三部分卷积神经网络运算。