[发明专利]神经网络模型的编译方法、装置、存储介质及电子设备

说明书

公开了一种神经网络模型的编译方法、装置、存储介质及电子设备。该方法包括：获取待编译神经网络模型，待编译神经网络模型包括所对应的运算类型为第一运算的第一网络层，第一运算属于查表运算且使用的表为第一表；基于指定常量范围和第一表，将第一网络层的第一输入特征图的第一运算变换为第二运算，得到第二网络层，第二运算为神经网络加速器支持的运算；基于待编译神经网络模型中除第一网络层之外的网络层，以及第二网络层，通过编译处理生成第一目标神经网络模型。本公开实施例能够在不进行数据搬移的前提下实现查表运算，由此能够有效地节约带宽和时间，同时还能够避免占用额外资源。

技术领域

本公开涉及人工智能技术，尤其是一种神经网络模型的编译方法、装置、存储介质及电子设备。

背景技术

在一些情况下，芯片上部署的神经网络加速器不支持查表运算，而神经网络模型实际运算时需要进行查表运算，针对这种情况，目前的解决措施是：将需要进行查表运算的数据搬移至中央处理器(CentralProcessing Unit，CPU)执行查表操作，再将CPU处理后得到的结果搬移回神经网络加速器，然而，这种解决措施中由于需要进行数据搬移，存在浪费带宽和时间的问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种神经网络模型的编译方法、装置、存储介质及电子设备。

根据本公开实施例的一个方面，提供了一种神经网络模型的编译方法，包括：

获取待编译神经网络模型，所述待编译神经网络模型包括所对应的运算类型为第一运算的第一网络层，所述第一运算属于查表运算且使用的表为第一表；

基于指定常量范围和所述第一表，将所述第一网络层的第一输入特征图的所述第一运算变换为第二运算，得到第二网络层，所述第二运算为神经网络加速器支持的运算；

基于所述待编译神经网络模型中除所述第一网络层之外的网络层，以及所述第二网络层，通过编译处理生成第一目标神经网络模型。

根据本公开实施例的一个方面，提供了一种神经网络模型的编译装置，包括：

第一获取模块，用于获取待编译神经网络模型，所述待编译神经网络模型包括所对应的运算类型为第一运算的第一网络层，所述第一运算为查表运算且使用的表为第一表；

第二获取模块，用于基于指定常量范围和所述第一表，将所述第一获取模块获取的所述待编译神经网络模型中的所述第一网络层的第一输入特征图的所述第一运算变换为第二运算，得到第二网络层，所述第二运算为神经网络加速器支持的运算；

第一生成模块，用于基于所述第一获取模块获取的所述待编译神经网络模型中除所述第一网络层之外的网络层，以及所述第二获取模块得到的所述第二网络层，通过编译处理生成第一目标神经网络模型。

根据本公开的再一个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述神经网络模型的编译方法。

根据本公开的又一个方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述神经网络模型的编译方法。

基于本公开上述实施例提供的神经网络模型的编译方法、装置、存储介质及电子设备，可以在对神经网络模型进行编译的过程中，将查表运算变换为神经网络加速器支持的运算，这样，即便神经网络加速器不支持查表运算，也能够通过与查表运算等同的运算，间接实现查表运算，因此，本公开的实施例能够在不进行数据搬移的前提下实现查表运算，由此能够有效地节约带宽和时间，同时还能够避免占用额外资源。