[发明专利]零系数跳过卷积神经网络引擎

摘要

本发明公开了零系数跳过卷积神经网络引擎。诸如卷积神经网络的卷积引擎通过实现零跳过而有效地对稀疏的核进行操作。输入图块被加载并且通过根据核中的系数的行和列索引使图块移位，来针对非零系数的输入图块计算累加和。每个系数被单独应用于图块，并且在移动到下一个非零系数之前将结果写入累加缓冲器。可以通过这种方式实现3D或4D卷积，其中累加缓冲器的不同区域存储对于沿着一个维度的不同索引的累加和。图像被完全处理，并且在移动到下一个图像之前将每个图像的结果存储在累加缓冲器中。

主权项

一种用于执行卷积的方法，所述方法包括：提供系数C(kz，Z，kx，ky)的数组，所述系数C(kz，Z，kx，ky)的数组定义了Z维度、kz维度、kx维度和ky维度；提供多个输入图像，每个输入图像对应于在所述kz维度中的索引；(a)通过电子设备将在多个图块位置中的下一个图块位置选为当前图块位置；(b)通过电子设备将在所述多个输入图像中的下一个输入图像I(kz1)选为当前图像，并且将与所述当前图像对应的索引kz1选为当前kz索引；(c)通过所述电子设备将在所述当前图块位置处的所述当前图像I(kz1)的图块作为所述当前图块加载到缓冲器中；(d)对于具有在所述kz维度等于kz1的索引的系数的数组中的系数C(kz1，Z，kx，ky)的至少一部分中的每个系数，通过所述电子设备单独地并且按照顺序地执行以下操作：根据在所述ky维度中的所述每个系数的ky索引，设置所述当前图块的ky移位量；根据在所述kx维度中的所述每个系数的kx索引，设置所述当前图块的kx移位量；将所述ky移位量和所述kx移位量应用于所述当前图块，以获得移位的图块；将所述移位的图块乘以所述每个系数，以获得一组乘积；将所述一组乘积加到在累加缓冲器中存储的一组累加的和，以获得一组更新的和；以及采用所述一组更新的和来重写所述一组累加的和；(e)执行(b)至(d)，直到已根据(b)至(d)处理了在所述多个图像中的所有输入图像为止；(f)输出所述累加的和的当前值作为输出图像；(g)执行(a)至(f)，直到已根据(a)至(f)处理了在所述多个图块位置中的所有图块位置为止；其中，所述ky移位量和所述kx移位量被选择为使得当(f)完成时，所述累加的和是所述当前图块与所述多个图像的三维卷积。