[发明专利]神经网络计算图的处理方法及处理装置

权利要求书

1.一种神经网络计算图的处理方法，其特征在于，所述神经网络计算图包括多个算子节点，所述处理方法包括：

根据多个所述算子节点的输入连接关系，获取所有符合拆分点条件的目标算子节点，所述拆分点条件包括：具有第一输入端和第二输入端，且所述第一输入端所连接的算子节点为数据输入节点；

以所述目标算子节点的第二输入端作为拆分点，将所述神经网络计算图拆分为串行连接的多个计算子图，所述第二输入端所连接的算子节点的输入端与其他算子节点连接；

依次根据每个所述计算子图生成每个所述计算子图对应的可执行文件。

2.根据权利要求1所述的处理方法，其特征在于，所述第一输入端的输入数据预先存储于片外存储器。

3.根据权利要求1所述的处理方法，其特征在于，所述依次根据每个所述计算子图生成每个所述计算子图对应的芯片可执行文件，包括：

响应于在生成当前的所述计算子图对应的可执行文件时发生失败报错，将当前的所述计算子图进一步拆分成串行连接的多个计算子图；

依次根据进一步拆分得到的每个所述计算子图，生成进一步拆分得到的每个所述计算子图对应的可执行文件。

4.根据权利要求1所述的处理方法，其特征在于，所述依次根据每个所述计算子图生成每个所述计算子图对应的芯片可执行文件，包括：

响应于在生成当前的所述计算子图对应的可执行文件时无失败报错，将当前的所述计算子图作为目标计算子图；

将每个所述目标计算子图对应的可执行文件加载至对应的芯片。

5.根据权利要求1所述的处理方法，其特征在于，在所述依次根据每个所述计算子图生成每个所述计算子图对应的可执行文件之后，所述处理方法还包括：

响应于在生成每个所述计算子图对应的可执行文件时均无失败报错，获取至少一组计算子图，每组计算子图包括串行连接的至少两个计算子图；

对每组计算子图中的至少两个计算子图进行融合处理，以得到每组计算子图对应的备选计算子图；

在生成所述备选计算子图对应的可执行文件时无失败报错的情况下，将所述备选计算子图作为目标计算子图。

6.根据权利要求5所述的处理方法，其特征在于，所述获取至少一组计算子图，包括：

根据各所述计算子图对应的子图属性参数，确定所有计算子图中可进行融合处理的至少一组计算子图；

其中，所述计算子图对应的子图属性参数包括所述计算子图对应的计算量、权重信息、以及对应的矢量加速单元APU图的节点数量。

7.根据权利要求6所述的处理方法，其特征在于，所述根据各所述计算子图对应的子图属性参数，确定所有计算子图中可进行融合处理的至少一组计算子图，包括：

按照所有计算子图的串行连接关系以及执行顺序，依次检查串行连接的至少两个计算子图是否满足融合条件；

当确定串行连接的至少两个计算子图满足融合条件时，将该至少两个计算子图作为一组计算子图；

其中，所述融合条件包括：该至少两个计算子图对应的计算量之和大于或等于最小计算量阈值，且小于或等于最大计算量阈值；该至少两个计算子图对应的权重信息之和大于或等于最小权重阈值，且小于或等于最大权重阈值；该至少两个计算子图对应的APU图的节点数量之和大于或等于最小数量阈值，且小于或等于最大数量阈值。

8.根据权利要求5所述的处理方法，其特征在于，所述获取至少一组计算子图，包括：

按照所有计算子图的串行连接关系以及执行顺序，将所有计算子图中每两个串行连接的计算子图分别作为一组计算子图。