[发明专利]一种卷积神经网络推理加速器及方法

权利要求书

1.一种卷积神经网络推理加速器，包括：

输入图像缓存器模块，包括N个缓存器，用于载入输入图像数据，每个缓存器存储图像对应一行的数据,所述输入图像缓存器模块每隔k行放置一个额外的缓存器，用于在卷积运算换行前，缓存图像下一行的数据，以提高数据加载效率；

N*N个运算单元，连接所述输入图像缓存器模块，用于进行卷积运算，于进行卷积运算时，所述N*N个运算单元支持图像数据在相邻运算单元间传递的脉动形式，其连接缓存器的运算单元从缓存器中读取图像数据，其他的运算单元从邻近的运算单元读取图像数据，在卷积运算中，各卷积核对图像的每k行数据进行卷积，而非图像的一行数据，其中，k为卷积核大小，利用图像每k行数据开始做卷积运算时填充运算单元的时间，于所述额外的缓存器载入图像k+1行的数据，并将权值通过运算单元的寄存器向下滑动到下方邻近的寄存器中，换行前的k-1行图像数据保留在原缓存器复用，从而实现高效的卷积换行操作；

多级流水线加法器，包括多个加法器，用于对每列的运算单元的输出结果进行累加；

多路选择器，用于根据控制信号，根据卷积核的大小选择特定的列进行相加。

2.如权利要求1所述的一种卷积神经网络推理加速器，其特征在于：于进行卷积运算时，针对卷积运算换行，所述N*N个运算单元中的权值寄存器支持上下移动原有的权值数据，并接收其他寄存器传输过来的权值数据。

3.如权利要求1所述的一种卷积神经网络推理加速器，其特征在于：将同一通道的不同卷积核横向存放在运算单元的权值寄存器中，将对应图像的不同通道的同位置的卷积核纵向存放在运算单元的权值寄存器。

4.一种卷积神经网络推理加速方法，包括如下步骤：

步骤S1，将输入图像数据载入输入图像缓存器模块的多个输入图像缓存器中，同时向运算单元中的权值寄存器载入权值数据；

步骤S2，对N*N个运算单元进行卷积运算，于进行卷积运算时，所述N*N个运算单元支持图像数据在相邻运算单元间传递的脉动形式，其连接缓存器的运算单元从缓存器中读取图像数据，其他的运算单元从邻近的运算单元读取图像数据，在卷积运算中，各卷积核对图像的每k行数据进行卷积，而非图像的一行数据，其中，k为卷积核大小，利用图像每k行数据开始做卷积运算时填充运算单元的时间，于所述额外的缓存器载入图像k+1行的数据，并将权值通过运算单元的寄存器向下滑动到下方邻近的寄存器中，换行前的k-1行图像数据保留在原缓存器复用，从而实现高效的卷积换行操作；

步骤S3，当运算单元完成一次乘法后，对每一列的运算单元的输出值进行多级流水线形式累加运算；

步骤S4，在进行了多级流水线形式累加运算后，根据卷积核的大小，选取特定列的累加和进一步加法运算，得到N/k个输出结果，所述卷积核大小为k*k。