[发明专利]神经网络计算图的处理方法及处理装置

说明书

本公开提供了一种神经网络计算图的处理方法及处理装置、电子设备、计算机可读介质，该神经网络计算图包括多个算子节点，该处理方法包括：根据多个算子节点的输出连接关系，获取所有符合拆分点条件的目标算子节点，拆分点条件包括：具有第一输入端和第二输入端，且第一输入端所连接的算子节点为数据输入节点；以目标算子节点的第二输入端作为拆分点，将神经网络计算图拆分为串行连接的多个计算子图，第二输入端所连接的算子节点的输入端与其他算子节点连接；依次根据每个计算子图生成每个计算子图对应的可执行文件。根据本公开的技术方案，能够实现对任意神经网络计算图的自动化拆分，提高神经网络计算图的编译效率和效果，降低编译难度。

技术领域

本公开涉及计算机技术领域，特别涉及一种神经网络计算图的处理方法及处理装置、电子设备、计算机可读存储介质。

背景技术

基于存算一体的众核架构芯片，因将计算和存储都放在片上，减少了数据搬运时间，降低了功耗，是众核芯片的一个重要发展方向。

深度学习框架(例如TensorFlow或ONNX)通常使用计算图来表达深度学习模型(神经网络)的计算。针对特定的加速硬件，神经网络计算图需要经过编译器进行编译，以生成可以在硬件上运行的指令流。其中，硬件可以是基于存算一体的众核芯片，众核芯片通常包括多个物理核(Core)。

发明内容

本公开提供一种神经网络计算图的处理方法及处理装置、电子设备、计算机可读存储介质。

第一方面，本公开提供了一种神经网络计算图的处理方法，所述神经网络计算图包括多个算子节点，所述处理方法包括：

根据多个所述算子节点的输出连接关系，获取所有符合拆分点条件的目标算子节点，所述拆分点条件包括：具有第一输入端和第二输入端，且所述第一输入端所连接的算子节点为数据输入节点；

以所述目标算子节点的第二输入端作为拆分点，将所述神经网络计算图拆分为串行连接的多个计算子图，所述第二输入端所连接的算子节点的输入端与其他算子节点连接；

依次根据每个所述计算子图生成每个所述计算子图对应的可执行文件。

第二方面，本公开提供了一种处理装置，所述处理装置用于对待处理的神经网络计算图进行处理，所述神经网络计算图包括多个算子节点，所述处理装置包括：

确定模块，用于根据多个所述算子节点的输出连接关系，获取所有符合拆分点条件的目标算子节点，所述拆分点条件包括：具有第一输入端和第二输入端，且所述第一输入端所连接的算子节点为数据输入节点；

第一拆分模块，用于以所述目标算子节点的第二输入端作为拆分点，将所述神经网络计算图拆分为串行连接的多个计算子图，所述第二输入端所连接的算子节点的输入端与其他算子节点连接；

生成模块，用于依次根据每个所述计算子图生成每个所述计算子图对应的可执行文件。

第三方面，本公开提供了一种电子设备，该电子设备包括：

至少一个处理器；

以及与所述至少一个处理器通信连接的存储器；

其中，所述存储器存储有可被所述至少一个处理器执行的一个或多个计算机程序，一个或多个所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的神经网络计算图的处理方法。

第四方面，本公开提供了一种计算机可读存储介质，其上存储有计算机程序，其中，所述计算机程序在被处理器/处理核执行时实现上述的神经网络计算图的处理方法。