[发明专利]卷积处理引擎及控制方法和相应的卷积神经网络加速器

说明书

公开了一种卷积处理引擎及其控制方法以及包括该卷积处理引擎的卷积神经网络加速器。该卷积处理引擎包括串联的至少两个高速缓冲存储器和运算电路。该卷积处理引擎能够以较低的复杂度和功耗来实现高效率的卷积运算。

技术领域

本公开总体上涉及人工智能的技术领域，并且具体地涉及一种卷积处理引擎及其控制方法以及包括该卷积处理引擎的卷积神经网络加速器。

背景技术

卷积神经网络已经成功地应用于图像处理、自动驾驶等诸多领域。随着应用需求的不断发展，卷积神经网络中涉及的乘加运算的运算量越来越多，对于用于卷积神经网络运算的卷积神经网络加速器的处理性能也提出越来越高的要求。

随着数据量和运算量的增加，卷积神经网络加速器消耗在存取(包括读取和写入)数据上的时间急剧增加，并且在很多情况下成为制约卷积神经网络加速器的处理性能的主要因素之一。

因此，期望提供一种低成本但高效率的卷积神经网络加速器。

发明内容

根据本公开的一方面，提供了一种卷积处理引擎。

该卷积处理引擎包括串联的至少两个高速缓冲存储器，其中，对于任何两个相邻的高速缓冲存储器中的在前高速缓冲存储器和在后高速缓冲存储器，在前高速缓冲存储器的输出端耦接到在后高速缓冲存储器的输入端，并且串联在最先位置处的第一高速缓冲存储器的输入端和串联在最后位置处的第二高速缓冲存储器的输出端分别对应于该卷积处理引擎的第一输入端和输出端。在前述的至少两个高速缓冲存储器中，前述的第一高速缓冲存储器用于接收和缓存来自该卷积处理引擎外部的数据，前述的第二高速缓冲存储器用于将所缓存的数据输出到该卷积处理引擎外部。

该卷积处理引擎还包括运算电路，其中，运算电路的输入端耦接到前述的至少两个高速缓冲存储器的每个高速缓冲存储器的输出端，并且运算电路的输出端耦接到前述的至少两个高速缓冲存储器的每个高速缓冲存储器的输入端。运算电路可以包括乘法累加器阵列。

根据本公开的另一方面，还提供了一种包括上述卷积处理引擎的卷积神经网络加速器。

根据本公开的另一方面，还提供了一种用于控制上述卷积处理引擎的方法。该方法包括：

确定待处理的卷积神经网络中的连续的至少两个层与前述的至少两个高速缓冲存储器之间的对应关系，对应高速缓冲存储器的对应部分将用于存储对应层的运算中所涉及的特征数据，其中，前述的至少两个层中的最先层的输入特征数据的对应高速缓冲存储器是前述的第一高速缓冲存储器，并且前述的至少两个层中的最后层的输出特征数据的对应高速缓冲存储器是前述的第二高速缓冲存储器；

从上述卷积处理引擎外部接收第一输入特征数据并存储到前述的第一高速缓冲存储器的第一对应部分中，前述的第一输入特征数据是前述的最先层的原始完整输入特征数据的第一部分数据；以及

控制前述的运算电路执行第一操作，前述的第一操作包括从前述的第一对应部分中读取前述的第一输入特征数据、基于前述的第一输入特征数据从前述的最先层开始依次执行每个层的运算以及将通过每个层的运算所获得的第一输出特征数据存储到对应高速缓冲存储器的对应部分中。

根据本公开的另一方面，还提供了一种计算机可读取的非临时性存储介质，其上存储有程序指令，该程序指令在被执行时至少执行上述用于控制卷积处理引擎的方法。

根据本公开的实施例的卷积处理引擎或包括该卷积处理引擎的卷积神经网络加速器能够以很低的硬件设计复杂度、控制复杂度、成本和功耗来高效率地实现卷积运算。

附图说明