[发明专利]存储器访问

说明书

提供了一种用于管理存储器访问的方法，用于实施卷积神经网络的至少一层。该方法包括基于卷积神经网络的特征来预测与存储器的部分相关的访问过程。响应于该预测，该方法包括在所预测的访问过程之前执行用于获取与存储器的部分相对应的存储器地址转换并将其存储在存储装置中的操作。提供了一种装置，其包括至少一个处理器和存储装置。该设备被配置为预测与处理器外部的存储器的部分相关的访问过程。响应于该预测，该装置被配置为在所预测的访问过程之前获取与存储器的部分相对应的存储器地址转换并将其存储在存储装置中。

技术领域

本公开涉及用于管理数据处理的方法和装置。

背景技术

用于实施卷积神经网络的处理器(例如神经处理单元(NPU)、中央处理单元(CPU)、图形处理单元(GPU)、数字信号处理器(DSP)和协处理器)具有板上存储器，通常以静态随机存取存储器(SRAM)的形式。当使用这种处理器实施卷积神经网络时，可能无法将所有数据(例如，包括输入数据、输出数据和与卷积神经网络中涉及的操作相对应的数据)都保持在处理器存储器(memory)上。至少一些数据可以存储在处理器外部的存储器中，这可以包括易失性和非易失性存储器。当执行卷积神经网络时，处理器可以访问外部存储器。处理器可以具有关联的存储装置(storage)(例如高速缓存，也称为转换后备缓冲器)，其存储与存储器中的位置相对应的存储器地址转换。存储器地址转换用于将处理器使用的存储器地址转换为标识存储关联的数据的存储器的部分的存储器地址。使用虚拟存储器可以使分散的物理存储器位置看起来是连续的。它们还可以允许在同一虚拟地址上运行的处理访问存储在物理存储器的不同部分中的数据的不同版本。由于大小限制，存储装置可能无法存储所有存储器地址位置的存储器地址转换。大小限制可能由所需的属性(例如，所需的访问速度、面积或成本)强加。在要访问存储器位置并且关联的存储器地址转换未被存储在存储装置中的情况下，提取存储器地址转换使得可以访问存储器位置。提取可以包括访问辅助的较大的存储装置，例如较大的高速缓存，或者可能涉及访问包括用于较大系统的存储器地址转换的主页表。

期望在实施卷积神经网络时提高存储器访问的效率。

发明内容

根据本公开的第一方面，提供了一种用于管理存储器访问的方法，该方法用于使用处理器对输入数据实施卷积神经网络的至少一层以生成输出数据，该方法至少包括：基于卷积神经网络的至少一个或多个特征，预测与处理器外部的存储器的部分相关的访问过程；以及响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并且将存储器地址转换存储在存储装置中的操作。

根据本公开的第二方面，提供了一种非暂态计算机可读存储介质，该非暂态计算机可读存储介质包括指令，该指令在由处理器执行时使处理器至少：基于卷积神经网络的至少一个或多个特征预测与处理器外部的存储器的部分相关的访问过程，用于对输入数据实施卷积神经网络的至少一层以生成输出数据；响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并将存储器地址转换存储在存储装置中的操作。

根据本公开的第三方面，提供了一种装置，包括：至少一个处理器，用于对输入数据实施卷积神经网络的至少一层以生成输出数据；以及用于存储多个存储器地址转换的存储装置，其中，该装置被配置为：基于卷积神经网络的至少一个或多个特征，预测与至少一个处理器外部的存储器的部分相关的访问过程；响应于该预测，在所预测的访问过程之前，执行用于获取与存储器的部分相对应的存储器地址转换并将存储器地址转换存储在存储装置中的操作。

附图说明

通过以下参照附图进行的优选实施例的描述(仅通过示例给出)，其他特征和优点将变得显而易见，在附图中，相同的附图标记用于表示相同的特征。

图1是示出根据示例的装置的示意图；

图2是示出根据示例的方法的流程图；

图3是根据示例的要使用卷积神经网络处理的图像的示意图；