[发明专利]面向神经网络计算的分布式数据路由的建模方法和装置

权利要求书

1.一种面向神经网络计算的分布式数据路由的建模方法，其特征在于，包括如下步骤：

S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性，所述广播属性是指将逻辑张量的数据发送到集群中的其他节点，所述散播属性是指将逻辑张量的数据沿着指定维度进行划分并散播至其他节点，所述局部规约属性反映不同逻辑张量的分量分发到物理设备进程上进行计算，计算所得的局部物理张量是不同逻辑张量切分之前完整张量进行计算所得的全局逻辑张量的部分值，上述局部物理张量与全局逻辑张量的形状一致，全局逻辑张量可以通过对所有逻辑张量分量计算所得的局部物理张量进行逐元素规约操作来获取；

S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；

S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；

S4：推演中间通信原语类型，具体子步骤如下：

S41：推演生产者算子的输出张量的分布式属性：根据生产者算子的输入张量的分布式属性，推演输出张量的合法分布式属性；

S42:推演中间通信原语：根据生产者算子输出张量的分布式属性和消费者算子所需的输入张量的分布式属性，推演出所需的中间通信原语类型；

S5：推导出中间通信原语的传输代价：推导出不同分布式属性之间进行转换的通信代价；

S6：推导中间通信原语的建模方式，子步骤如下：

S61：定义基本的原子操作；

S62：构建复杂操作：复杂操作由基本原子操作复合而成；

采用或方式构建复杂目标操作，获取的目标操作是多个原子操作的并联关系；

采用分冶方式构建复杂操作，获取的目标操作是多个原子操作通过中间分布式属性的串联关系；

采用复合方式构建复杂操作，所述复合方式指通过串联和并联组合使用构建更加复杂的目标操作；

S7：插入传输代价最小的中间通信原语：选择传输代价最小的原语，将其插入到全局逻辑张量和局部物理张量之间。

2.如权利要求1所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S1中：所述散播属性进行如下定于，定义沿着横轴切分所得张量分量的散播属性为S(0)，沿着纵轴切分所得张量分量的散播属性为S(1)。

3.如权利要求1所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S3具体过程如下：对于存在生产消费关系的相邻算子之间，当出现同一个逻辑张量对于它的生产者算子产生的分布式属性和消费者算子所需的分布式属性不同的情形，需要在所述逻辑张量的生产者算子与消费者算子之间插入中间通信原语，否则，不需要插入中间通信原语。

4.如权利要求2所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S5的具体子步骤如下：

S51：推导散播属性转换为任意分布式属性的通信代价，包括如下类型：

散播属性S(0)与散播属性S(1)之间转换的通信代价：通过中间通信原语实现两种不同散播属性的之间的转换，跨设备之间转换过程中所产生的传输数据量为全局逻辑张量的大小；

散播属性转换为广播属性的通信代价：通过中间通信原语实现将散播属性转换为广播属性，通信代价为输出张量的设备进程数量与全局逻辑张量大小的乘积；

S52：局部规约属性转换为任意分布式属性的通信代价，包括如下类型：

局部规约属性转换为散播属性的通信代价：通过中间通信原语实现将局部规约属性转换为散播属性，通信代价为输入张量的设备进程数量与全局逻辑张量大小的乘积；

局部规约属性转换为广播属性的通信代价：通过中间通信原语实现将局部规约属性转换为广播属性，通信代价为，其中是放置输入张量的设备进程数量，是逻辑张量T的大小，是放置输出张量的设备进程数量。

5.如权利要求1所述的面向神经网络计算的分布式数据路由的建模方法，其特征在于：所述步骤S5中：对于将输入张量的广播属性转换为中间通信原语输出张量的散播属性的情形，其中输出张量可以直接从位于同一设备的输入张量获取数据，因此，此情形中所述中间通信原语的传输代价为0。