[发明专利]一种用于神经网络计算的数据流动方法和装置

权利要求书

1.一种用于神经网络计算的数据流动方法，其特征在于：包括以下步骤：

步骤1、初始化计算图中变量的生命周期，初始化从变量的定义开始到使用结束之间的时间段为所述变量在计算图中的生命周期；

步骤2、定义使用中变量流过节点的传播规则，定义计算图某节点处的变量被使用，在该节点的前驱节点产生该变量的定义，使得流过该节点的有效变量的输入集合包含该变量；

步骤3、设计重定义变量流过节点的传播规则，当变量在计算图某节点处被重新定义，则使该节点的前驱节点中的该变量的生命周期在流过该节点时被终结；

步骤4、定义计算图中关联变量流过节点的传播规则；

步骤5、基于数据流分析每个节点的输入和输出的有效变量，包括如下子步骤：

步骤5.1、初始化输出节点的输入有效变量集合，对于整张计算图的输出节点，其输出有效变量集合为空集，其输入有效变量集合推导方法为：其输出有效变量集合移除所述节点处被重新定义的变量，再与所述节点处被使用的变量取并集；

步骤5.2、初始化输入节点的输出有效变量集合，对于整张计算图的输入节点，初始化其输出的有效变量集合元素为所述节点处定义的变量；

步骤5.3、推导中间节点的输出有效变量集合，所述节点的输出有效变量集合为取其后继节点的输入有效变量的并集；

步骤5.4、推导中间节点的输入有效变量集合，所述节点的输入有效变量集合为其输出有效变量结合移除所述节点处被重新定义的变量集合，再取与所述节点处被使用的变量集合的并集；

步骤6、收集流过节点前后的有效变量的集合，收集基于计算图的变量的生命周期分析所得的流经每个节点的有效变量的集合；

步骤7、为计算图边上的有效变量分配内存单元块，定义为计算图某节点的变量分配单元内存块的条件为：所述节点处的该变量在生命周期内，即计算图边上的有效变量才分配单元内存块，在计算图编译期间，根据上述收集的有效变量的集合中变量的个数，提前为每个变量预分配内存单元块；

步骤8、定义计算图中可用表达式的传播规则；

步骤9、基于数据流分析每个节点的输入和输出的可用表达式；

步骤10、优化计算图中的可用表达式：将计算图节点处的可用表达式的计算结果保存到中间变量中，再次出现在后继节点中的所述可用表达式将替换为所述中间变量。

2.如权利要求1所述的一种用于神经网络计算的数据流动方法，其特征在于：所述步骤3中重定义变量流过节点的传播规则具体为：若该变量在所述计算图某节点处没有被重新定义，则流过所述节点的有效变量的输出集合中的变量可以穿过该节点传播至其输出集合的变量；若该变量在所述计算图某节点处被重新定义，则所述变量不可以穿过该节点。

3.如权利要求1所述的一种用于神经网络计算的数据流动方法，其特征在于：所述步骤4的具体子步骤如下：

步骤4.1、定义流过计算图某节点的变量等于使用变量；

步骤4.2、定义该节点的输出变量的集合为该节点的所有后继节点的输入集合的并集；

步骤4.3、定义该节点的输入变量的集合为输出变量的集合去除该节点处的定义的变量集合，再与该节点处使用变量集合取并集。

4.如权利要求1所述的一种用于神经网络计算的数据流动方法，其特征在于：所述步骤8的具体子步骤如下：

步骤8.1、定义流过计算图某节点的变量等于使用变量；

步骤8.2、定义该节点的输入变量的集合为该节点的所有前驱节点的输出变量集合的交集；

步骤8.3、定义该节点的输出变量的集合为该节点的所有输入变量的集合与使用变量的并集，再去除包含重定义变量的表达式。

5.如权利要求1所述的一种用于神经网络计算的数据流动方法，其特征在于：所述步骤9的具体子步骤如下：

步骤9.1、可用表达式集合的初始化，将流入整个计算图入口节点的可用表达式的集合初始化为空集；

步骤9.2、可用表达式集合添加后继节点中新出现的表达式，对于存在多条输入边的节点，所述节点的可用表达式是取多条输入边上的可用表达式集合的交集作为所述节点的可用表达式集合新添加的元素；

步骤9.3、对于存在可用节点中的变量被重新定义的后继节点，需要将包含所述重定义变量的表达式从所述可用表达式集合中移除。