[发明专利]用于管理卷积计算的方法和对应设备

说明书

本公开涉及用于管理卷积计算的方法和对应设备。在一个实施例中，一种用于管理由计算单元执行的卷积计算的方法，该计算单元被适配为根据被应用于至少一个输入通道上的输入数据块的卷积核来计算输出通道上的输出数据，其中对每个输入数据块的计算分别对应于输出通道上的输出数据，并且其中每个卷积核的计算分别对应于每个输出通道上的输出数据，该方法包括：标识在计算单元的临时工作存储器中可用的存储器位置的大小；在临时工作存储器中预加载能够在存储器的大小下被存储的最大数目的卷积核；以及控制计算单元计算输出数据的集合，该输出数据的集合能够根据预加载的卷积核来计算。

相关申请的交叉引用

本申请要求于2020年10月1日提交的法国专利申请第2010063号的权益，该申请在此通过引用并入本文。

技术领域

实现和实施例涉及操作卷积计算的人工神经网络，特别是卷积计算的管理。

背景技术

可以提及例如通常应用于识别图像或视频中的对象或人的卷积神经网络或CNN，这称为2D卷积。

卷积神经网络通常包含连续地处理信息的四种层类型：卷积层，一个接一个地处理例如图像块；激活层，通常是非线性函数，可以提高卷积层的结果的相关性；池化层，可以减少层的维度；以及全连接层(或密集层)，将一个层的所有神经元连接到前一层的所有神经元。

针对每一层，输入数据从前一层到达输入通道，并且输出数据在输出通道上被传送。输入和输出通道对应于例如随机存取存储器的存储器位置。输出通道的集合称为“特征图”。

卷积层通常对应于输入数据和卷积核权重数据的内积。权重数据是指与给定卷积核相关的卷积运算的参数。

简而言之，卷积(特别是2D卷积)的原理是利用被投影到输入数据块上的窗口扫描输入通道，并且计算每个输入数据块与卷积核的内积。每个输入数据块的内积对应于分别与每个卷积核相对应的输出通道上的输出数据。

应当注意，卷积核对应于输出通道，并且可以包括与输入通道的数目相等的多个分量，因此每个分量可以专用于一个输入通道。因此，这种卷积核的“绝对”大小(即核权重数据的数目)将是一个分量的大小(等于窗口的大小(例如，3*3像素))乘以输入通道的数目。权重通常被存储在非易失性存储器中。

卷积神经网络“CNN”广泛用于人工智能。卷积神经网络对计算的执行对存储权重的非易失性存储器容量、输入/输出数据的易失性存储器容量、以及导致高推理时间的计算周期的要求非常高(推理时间是人工智能领域的常用术语，表示执行神经网络已被配置或在自学习技术框架内被训练的任务所需要的时间)。

需要减少在卷积神经网络中执行的计算的推理时间。

现有解决方案的缺点通常是在减少推理时间和减少存储器占用方面没有提供有利折衷。

实际上，例如“TVM”类型的技术针对每一层生成特定代码以避免循环的执行，可以减少循环次数但对非易失性存储器的大小具有显著影响。此外，称为“权重平稳”或“特征平稳”的技术包括分配更多易失性存储器以加速计算。

然而，非易失性存储器和易失性存储器的大小与解决方案的最终成本直接相关。在具有有限(随机访问和非易失性)存储器和计算速度资源的廉价设备的上下文中，价格问题以及推理时间与存储器空间之间的折衷问题影响更大。

发明内容

实施例大大减少了对2D卷积的推理时间。另外的实施例提供了接近于每个卷积计算操作的循环次数的理论极限的干扰时间，而不增加易失性和非易失性存储器。