[发明专利]神经网络模型的编译方法和装置、电子设备和存储介质

说明书

本公开实施例公开了一种神经网络模型的编译方法和装置、电子设备和存储介质，其中，方法包括：获取待编译神经网络模型对应的第一模型；针对第一模型的至少一个MUL层中的第一MUL层，将第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，并将深度卷积运算获得的第一输出张量变换为与第一MUL层的原输出张量数据结构相同的第二输出张量，获得第一MUL层对应的优化后的第二MUL层；基于各优化后的第二MUL层获得第一模型对应的优化模型；将优化模型编译为对应的二进制的目标模型。本公开实施例使得神经网络模型的元素对应相乘运算可以在加速芯片上实现，从而有效提高神经网络模型的推理速度。

技术领域

本公开涉及人工智能技术，尤其是一种神经网络模型的编译方法和装置、电子设备和存储介质。

背景技术

随着人工智能的飞速发展，一系列轻量级深度神经网络逐渐被用在手机、PC(个人计算机)、车载设备等移动终端上，以实现物体检测、分类等机器学习任务。在这些深度神经网络中通常存在MUL(elementWise multiply，元素对应相乘)层，需要对该层的两个输入张量进行元素对应相乘运算，为了提高深度神经网络的推理速度，通常采用专门加速深度神经网络的芯片来实现深度神经网络的运算，该芯片往往不支持元素对应相乘运算，因此，如何基于芯片实现元素对应相乘运算，以进一步提高神经网络的推理速度，成为一种亟需解决的技术问题。

发明内容

为了解决上述技术问题，提出了本公开。本公开的实施例提供了一种神经网络模型的编译方法和装置、电子设备和存储介质。

根据本公开实施例的一个方面，提供了一种神经网络模型的编译方法，包括：获取待编译神经网络模型对应的第一模型，所述第一模型为所述待编译神经网络模型对应的中间表示；针对所述第一模型的至少一个MUL层中的第一MUL层，将所述第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，并将深度卷积运算获得的第一输出张量变换为与所述第一MUL层的原输出张量数据结构相同的第二输出张量，获得所述第一MUL层对应的优化后的第二MUL层；所述MIL层为两输入张量的元素对应相乘的层；基于各优化后的第二MIL层，获得所述第一模型对应的优化模型；将所述优化模型编译为所述待编译神经网络模型对应的二进制的目标模型。

根据本公开实施例的另一个方面，提供了一种神经网络模型的编译装置，包括：第一获取模块，用于获取待编译神经网络模型对应的第一模型，所述第一模型为所述待编译神经网络模型对应的中间表示；第一处理模块，用于针对所述第一模型的至少一个MUL层中的第一MUL层，将所述第一MUL层的第一输入张量和第二输入张量的元素对应相乘运算变换为深度卷积运算，并将深度卷积运算获得的第一输出张量变换为与所述第一MUL层的原输出张量数据结构相同的第二输出张量，获得所述第一MUL层对应的优化后的第二MUL层；所述MUL层为两输入张量的元素对应相乘的层；第二处理模块，用于基于各优化后的第二MUL层，获得所述第一模型对应的优化模型；第三处理模块，用于将所述优化模型编译为所述待编译神经网络模型对应的二进制的目标模型。

根据本公开实施例的再一方面，提供一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开上述任一实施例所述的神经网络模型的编译方法。

根据本公开实施例的又一方面，提供一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现本公开上述任一实施例所述的神经网络模型的编译方法。

基于本公开上述实施例提供的神经网络模型的编译方法和装置、电子设备和存储介质，可以在对神经网络模型进行编译过程中，对神经网络模型进行优化，将神经网络模型中的元素对应相乘运算变换成深度卷积运算，使得神经网络模型的元素对应相乘运算可以在加速芯片上实现，从而有效提高神经网络模型的推理速度，解决了现有技术加速芯片不支持元素对应相乘运算的问题。

下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。