[发明专利]用于神经网络代码生成的方法和设备

说明书

公开了一种用于神经网络代码生成的方法和设备。该方法包括：接收关于被配置为执行神经网络的神经网络操作的硬件的信息，使用处理器基于所述信息和神经网络的结构生成将神经网络操作映射到可用于执行神经网络操作的处理元件上的目标映射模型，以及生成用于配置硬件以基于目标映射模型执行神经网络操作的代码。

本申请要求于2020年3月5日在美国专利商标局提交的第62/985,470号美国临时申请的权益，并且要求于2020年10月22日在韩国知识产权局提交的第10-2020-0137442号韩国专利申请的权益，该申请的全部公开内容出于所有目的通过引用包含于此。

技术领域

以下描述涉及一种用于生成用于神经网络操作的代码的方法和设备。

背景技术

在深度神经网络操作中，需要输入数据、权重数据和输出数据。每个数据可以具有四个维度(即，宽度(或水平长度)、高度(或垂直长度)、通道(或深度)和数量)。

重新加载的次数和装置的性能可以基于用于确定哪些维度数据将被划分并加载成什么大小的平铺(tiling)方法以及确定用于加载平铺的数据的顺序的数据流而变化。

发明内容

提供本发明内容是为了以简化的形式介绍一些构思，这些构思在下面的具体实施方式中进一步描述。本发明内容不旨在识别所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。

在一个总体方面，提供了一种处理器实现的生成代码的方法，所述方法包括：接收关于被配置为执行神经网络的神经网络操作的硬件的信息；使用处理器基于所述信息和神经网络的结构，生成将神经网络操作映射到可用于执行神经网络操作的处理元件上的目标映射模型；以及基于目标映射模型来生成用于配置硬件以执行神经网络操作的代码。

接收所述信息的步骤可以包括：接收处理元件的数量、处理元件的结构、存储器带宽、频率和存储器大小中的任何一个或任何组合。

生成目标映射模型的步骤可以包括：基于所述信息和所述结构来计算与任意映射模型对应的映射参数；以及基于映射参数来确定目标映射模型。

计算映射参数的步骤可以包括：基于神经网络的划分结构来计算将通过任意映射模型获得的操作性能；基于包括在神经网络操作中的循环结构来计算任意映射模型的存储器访问大小；以及基于操作性能和存储器访问大小来计算映射参数。

计算操作性能的步骤可以包括：基于神经网络的划分结构来计算处理元件的利用率；以及基于所述利用率来计算操作性能。

计算存储器访问大小的步骤可以包括：基于循环结构来计算任意映射模型的数据重新加载的次数；以及基于所述数据重新加载的次数和划分结构来计算存储器访问大小。

基于映射参数来确定目标映射模型的步骤可以包括：将使映射参数最大化的任意映射模型确定为目标映射模型。

生成目标映射模型的步骤还可以包括：基于神经网络的划分结构和包括在神经网络操作中的循环结构来对不适当的映射模型进行剪枝。

对不适当的映射模型进行剪枝的步骤可以包括：根据处理元件的利用率，基于神经网络的划分结构来对不适当的映射模型进行剪枝。

对不适当的映射模型进行剪枝的步骤可以包括：基于循环结构的迭代次数来对不适当的映射模型进行剪枝。

在另一总体方面，提供了一种用于生成用于神经网络操作的代码的设备，所述设备包括：接收器，被配置为接收关于被配置为执行神经网络操作的硬件的信息；以及处理器，被配置为基于所述信息和神经网络的结构来生成将神经网络操作映射到可用于执行神经网络操作的处理元件上的目标映射模型，并且基于目标映射模型来生成用于配置硬件以执行神经网络操作的代码。

接收器可以被配置为接收处理元件的数量、处理元件的结构、存储器带宽、频率和存储器大小中的任何一个或任何组合。