[发明专利]运算方法及装置、电子设备和存储介质

说明书

本公开涉及一种运算方法及装置、电子设备和存储介质，所述方法包括：获取用于实现神经网络运算的初始模型文件；响应于针对多类神经网络处理器的选择操作，基于被选中的目标神经网络处理器，对所述初始模型文件进行编译，得到与所述目标神经网络处理器匹配的目标模型文件；在所述目标神经网络处理器中运行所述目标模型文件，得到运算结果。本公开实施例可以降低运算中算法模型在不同神经网络处理器上的部署和迁移成本，提高运算的通用性和灵活性。

技术领域

本公开涉及计算机技术领域，尤其涉及一种运算方法及装置、电子设备和存储介质。

背景技术

人工智能领域的快速发展与深度学习、神经网络的兴起密不可分，随着神经网络设计日趋复杂，神经网络的主要计算平台渐渐迁移至神经网络处理器(NPU，NeuralNetwork Processing Unit)。NPU是专门为神经网络计算而设计的计算架构，可以在满足神经网络计算任务算力需求的同时可以提供更高的计算性能、能效、实时性，极大地降低计算能耗。

然而，由于NPU计算架构的专用性，NPU一般与专用的模型文件和后端软件栈进行绑定，以实现NPU的编译与运行，因而运算中算法部署与迁移的成本过高。

发明内容

为克服相关技术中存在的问题，本公开提出了一种运算方案。

根据本公开的一方面，提供了一种运算方法，包括：

获取用于实现神经网络运算的初始模型文件；响应于针对多类神经网络处理器的选择操作，基于被选中的目标神经网络处理器，对所述初始模型文件进行编译，得到与所述目标神经网络处理器匹配的目标模型文件；在所述目标神经网络处理器中运行所述目标模型文件，得到运算结果。

在一种可能的实现方式中，所述基于被选中的目标神经网络处理器，对所述初始模型文件进行编译，得到与所述目标神经网络处理器匹配的目标模型文件，包括：根据所述初始模型文件，构建第一计算图，其中，所述第一计算图通过第一预设算子库中的一个或多个预设算子构成；基于被选中的目标神经网络处理器，获取与所述目标神经网络处理器对应的目标算子库；根据所述第一预设算子库与所述目标算子库之间的转换关系，将所述第一计算图转换为与所述目标神经网络处理器匹配的第二计算图，其中，所述第二计算图通过所述目标算子库中的一个或多个目标算子构成；基于所述第二计算图，生成与所述目标神经网络处理器匹配的目标模型文件。

在一种可能的实现方式中，所述根据所述初始模型文件，构建第一计算图，包括：对所述初始模型文件进行解析，得到解析结果；基于所述解析结果，构建第三计算图，其中，所述第三计算图通过所述第一预设算子库中的一个或多个预设算子构成；基于被选中的目标神经网络处理器的运算方式，对所述第三计算图进行优化，得到第一计算图。

在一种可能的实现方式中，所述基于被选中的目标神经网络处理器的运算方式，对所述第三计算图进行优化，得到第一计算图，包括：基于被选中的目标神经网络处理器的运算方式，对所述第三计算图中的预设算子进行算子融合、算子拆分以及算子替换中的一种或多种，得到第一计算图。

在一种可能的实现方式中，所述根据所述第一预设算子库与所述目标算子库之间的转换关系，将所述第一计算图转换为与所述目标神经网络处理器匹配的第二计算图，包括：根据所述第一预设算子库与所述目标算子库之间的转换关系，对所述第一计算图中的多个预设算子分别进行转换，得到与所述第一计算图中的多个预设算子分别对应的多个转换结果，其中，所述转换结果包括所述目标算子库中的目标算子和/或目标算子子图，所述目标算子子图通过所述目标算子库中的多个目标算子构成；根据所述第一计算图中预设算子之间的连接关系，对所述多个转换结果进行连接，得到与所述目标神经网络处理器匹配的第二计算图。

在一种可能的实现方式中，在所述根据所述第一计算图中预设算子之间的连接关系，对所述多个转换结果进行连接，得到与所述目标神经网络处理器匹配的第二计算图以前，所述方法还包括：将所述第一计算图中的部分预设算子融合转换为所述目标算子库中的目标算子，作为转换结果。