[发明专利]一种图像卷积方法、装置、设备及存储介质

说明书

本发明公开一种图像卷积方法、装置、设备及存储介质，涉及图像处理和卷积神经网络加速器设计领域。本发明方法对卷积核及输入特征图进行分割，使分割得到的卷积核划块及输入划块适配一维、二维Winograd卷积算子，从而统一使用Winograd卷积算子实现卷积运算，得到与传统卷积方法等价的卷积结果。本发明将传统卷积划分为多个部分卷积，与一维和二维Winograd卷积算子适配，降低特征图分解过程中零填充导致的无效运算，实现高效率Winograd卷积运算。

技术领域

本发明涉及图像处理和卷积神经网络加速器设计领域，具体涉及一种图像卷积方法、装置、设备及存储介质。

背景技术

Winograd算法是卷积神经网络领域重要算法，广泛应用于CNN加速器设计和卷积神经网络推理阶段。其原理是将数据映射至Winograd实数域，利用相邻卷积核滑动窗口重叠，将重叠乘法用加法替代，降低乘法次数，减少硬件中乘法器开销，利于硬件实现。将一维卷积核尺寸为r，输出尺寸为m的Winograd卷积算子标记为F(m, r)；将二维卷积核尺寸为r×r，输出尺寸为m×m的Winograd卷积算子标记为F(m×m, r×r)；r为算子的卷积核尺寸；m为算子的输出尺寸；k为卷积核尺寸；s为步长； W为特征图宽；H为特征图高；IC为输入通道数；OC为输出通道数。

实际应用中，神经网络框架由多种卷积类型构成，包含不同步长和卷积核大小。对于Winograd原始算法，仅支持步长为1的卷积运算，一种Winograd卷积算子仅支持特定尺寸的卷积，而CNN模型包含不同类型卷积，所以需要使用多种Winograd卷积算子实现一个CNN模型。但是不同Winograd卷积算子包含不同的转置矩阵，多个Winograd卷积算子引入多个转置矩阵将导致CNN模型计算量增加。

发明内容

为解决上述问题，本发明对卷积核及输入特征图进行分割，使用一维、二维Winograd卷积算子进行卷积运算，无需零填充，实现扩展原始Winograd算法适配不同类型CNN卷积，减少Winograd转置计算量和卷积乘法量。

对卷积核进行分割处理，得到尺寸适配一维或二维Winograd卷积算子的多个卷积核划块；

对输入特征图进行分割处理，得到各卷积核划块分别对应的输入划块；

将各输入划块及对应的卷积核划块分别输入适配的一维或二维Winograd卷积算子，通过卷积运算得到对应的输出划块；

将各输出划块进行累加，得到输入特征图的卷积输出特征图。

本发明还提供一种图像卷积装置，其特征在于，包括：

卷积核分割模块，对卷积核进行分割处理，得到尺寸适配一维或二维Winograd卷积算子的多个卷积核划块；

输入特征图分割模块，对输入特征图进行分割处理，得到各卷积核划块分别对应的输入划块；

Winograd卷积算子模块，对各输入划块及对应的的卷积核划块进行卷积运算，得到对应的输出划块；

累加模块，将各输出划块进行累加，得到输入特征图的卷积输出特征图。

本发明进一步提供一种电子设备，其特征在于包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的程序，所述程序在被所述处理器执行时实现上述的图像卷积方法的步骤。

本发明还提供一种计算机可读存储介质，其特征在于，所述存储介质存储有至少一个程序，所述至少一个程序可被至少一个处理器执行，所述至少一个程序在被所述至少一个处理器执行时实现上述的图像卷积方法的步骤。

本发明有益效果：