[发明专利]减少人工神经网络中卷积运算期间数据移动的系统和方法

说明书

本申请涉及减少人工神经网络中卷积运算期间数据移动的系统和方法。所公开的计算机实现的方法可以包括：(1)在支持ANN的硬件加速器处接收将经由ANN的滤波器内核进行卷积运算的激活数据集，(2)在硬件加速器处接收参数，该参数指示当在卷积运算期间滑过特定位置时，滤波器内核超过激活数据集的至少一个边界，(3)至少部分地基于该参数来确定，硬件加速器将结合滤波器内核的特定位置在激活数据集的边界处生成填充数据，然后(4)当滤波器内核滑过特定位置时，在硬件加速器处通过处理激活数据集的一部分和填充数据来执行卷积运算。还公开了各种其他系统和方法。

附图和附录的简要说明

附图示出了许多示例性实施例，并且是说明书的一部分。连同下面的描述一起，附图展示并解释了本公开的各种原理。

图1是用于减少在人工神经网络中的卷积运算期间的数据移动的示例性系统的框图。

图2是用于减少在人工神经网络中的卷积运算期间的数据移动的示例性系统的框图。

图3是用于减少在人工神经网络中的卷积运算期间的数据移动的示例性方法的流程图。

图4是由人工神经网络执行的示例性卷积运算的框图。

图5是由人工神经网络执行的示例性卷积运算的框图。

图6是由人工神经网络执行的示例性卷积运算的框图。

图7是由人工神经网络执行的示例性卷积运算的框图。

虽然本文所述的示例性实施例容许各种修改和替代的形式，但是特定的实施例在附图中作为示例被示出并且在本文将被详细描述。然而，本文描述的示例性实施例并不旨在受限于所公开的特定形式。相反，本公开覆盖了落入本公开范围内的所有修改、组合、等同物和替代物。

示例性实施例的详细描述

本公开总体上涉及用于减少在人工神经网络中的卷积运算期间的数据移动的系统和方法。如下文将更详细解释的，这些系统和方法可以提供许多特征和益处。

人工智能(AI)可以使计算机执行各种复杂的任务，例如与通常和人类相关联的认知功能相关的任务。这些功能通常涉及根据真实世界的输入进行预测、分类或评估。AI可以涉及和/或实现各种方法和/或技术(例如机器学习)以实现那些功能。在至少一些示例中，机器学习系统可以使用已知的数据集来被训练，而不是采用预定的算法来执行任务。

一种被称为人工神经网络(ANN)的机器学习模型，可能受到生物大脑中神经元互连的启发。典型地，ANN可以包括布置在互连层中的多个计算节点，其中每个节点建模一个神经元，该神经元可以接收一个或更多个输入，处理输入，并将输出传递到下一层，最后一层产生期望的输出。ANN中包括的一个这样的层通常被称为卷积层。卷积层可以对输入应用卷积运算和/或将结果传递给另一层。

不幸的是，执行这种卷积运算的传统方法可能需要和/或消耗大量计算资源和/或功率资源。在一些示例中，传统方法可能需要和/或利用消耗大量功率资源、计算资源和/或存储器资源的组件和/或计算技术。此外，这种资源密集和/或要求高的技术可能使利用这种卷积层的系统设计复杂化。

作为具体示例，计算设备可以实现ANN，用于识别和/或分类某些图像和/或姿势。在该示例中，计算设备内的一个组件可以生成和/或准备输入矩阵(有时也称为激活数据(activation data))，用于由计算设备内的硬件加速器执行的卷积。作为传统方法中这种卷积的一部分，硬件加速器可能不仅需要获得和/或访问输入矩阵，还需要获得和/或访问包含该输入矩阵的一定量的填充数据。该填充数据可以使硬件加速器能够产生输出矩阵，该输出矩阵在卷积期间保持与输入矩阵相同的维数。在该示例中，由硬件加速器获得和/或访问该填充数据可能涉及和/或需要在ANN的存储器层级之间移动数据。