[发明专利]神经网络的动态存储器映射

说明书

一种将神经网络的多个特征图映射到存储器层级上的方法，包括将多个特征图中的第一特征图映射到存储器层级中具有可用存储器空间并提供对该第一特征图的最快访问的存储器。该方法还包括，当第一特征图期满时，从用于存储第一特征图的存储器中移除第一特征图。

技术领域

本公开一般涉及神经网络。更具体地，本公开涉及神经网络的动态存储器映射和层融合(fusion)。

背景技术

深度学习或深度神经网络是人工智能中的革命力量。计算机使用深度学习来理解图像、声音和文本的形式的无限的数据量。使用神经感知器的多个层，计算机现在具备和人一样观看、学习和应对复杂情况的能力，甚至可能比人的能力更好。

现代深度卷积神经网络设计非常深入，且可以包括10层到100层。现有的深度学习框架静态地将所有的特征图映射到DRAM(dynamic random-access memory，动态随机访问存储器)上，这意味着存储器使用量(usage)随着网络的深度成比例地增长。另一方面，每个层必须将其输入特征图(feature map)从DRAM读取到片上(on-chip)存储器，并将其输出特征图写回到DRAM，从而需要在片上存储器和DRAM之间进行多次读取和写入，这既费时又费力。

发明内容

本公开为神经网络提供动态存储器映射。

在第一实施例中，提供了一种将神经网络的多个特征图映射到存储器层级(hierarchy)上的方法。该方法包括将多个特征图中的第一特征图映射到存储器层级中具有可用存储器空间并提供对第一特征图的最快访问的存储器。该方法还包括，当第一特征图期满(expire)时，从用于存储第一特征图的存储器中移除多个特征图中的第一特征图。

在第二实施例中，提供了一种电子设备。该电子设备包括存储器层级中的至少一个存储器。该电子设备还包括耦合到至少一个存储器的至少一个处理器。该至少一个处理器被配置为将多个特征图中的第一特征图映射到存储器层级中具有可用存储器空间并提供对第一特征图的最快访问的存储器。该至少一个处理器还被配置为，当第一特征图期满时，从存储器中移除第一特征图，并且将用于存储第一特征图的存储器取消分配(unallocate)。

在另一实施例中，该至少一个处理器还被配置为基于卷积核和池化(pooling)核来确定一个或多个区块(tile)的区块大小，并且根据该区块大小将特征图划分为一个或多个区块。

在另一实施例中，融合层(fused layer)操作包括合并的卷积和批量(batch)归一化操作，并且其中至少一个处理器还被配置为将合并的卷积和批量归一化操作的结果作为临时特征图写入片上存储器。

在另一实施例中，融合层的一个或多个层操作包括修正的线性单元(rectifiedlinear unit，ReLU)操作，并且其中至少一个处理器还被配置为在片上存储器中用ReLU操作的结果覆写临时特征图，作为另一临时特征图。

在另一实施例中，融合层的一个或多个层操作包括池化操作，并且其中至少一个处理器还被配置为将池化操作的结果写入片上存储器。

在另一实施例中，在将输出写入片外(off-chip)存储器之前，将池化操作的结果写入片上存储器。

在第三实施例中，提供了一种包含计算机程序的非暂时性计算机可读介质。该计算机程序包括计算机可读程序代码，当由至少一个处理器执行时，该计算机可读程序代码使得至少一个处理器将多个特征图中的第一特征图映射到存储器层级中的存储器，并且当该第一特征图期满时，从所述存储器中移除第一特征图，并且将用于存储第一特征图的存储器取消分配。