[发明专利]面向神经网络计算的分布式数据路由的建模方法和装置

说明书

本发明提供了一种面向神经网络计算的分布式数据路由的建模方法和装置，包括如下步骤：S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；利用所述的面向神经网络计算的分布式数据路由的建模方法和装置搭建模型，分布式设计和开发的难度低，推动了深度神经网络大模型落地应用的发展。

技术领域

本发明涉及基于特定计算模型的计算机系统领域，特别涉及一种面向神经网络计算的分布式数据路由的建模方法和装置。

背景技术

随着人工智能产业化应用的快速发展，大规模深度神经网络模型的分布式训练系统越来越成为学术界和工业界的研究热点。已有的深度学习编译器在编译神经网络分布式模型时将全局逻辑计算图产生的张量数据部署到不同设备进程的物理计算图的过程中，缺少统一的分布式路由策略。

发明内容

本发明的目的在于提供一种面向神经网络计算的分布式数据路由的建模方法和装置，以克服现有技术中的不足。

为实现上述目的，本发明提供如下技术方案：

本发明公开了一种面向神经网络计算的分布式数据路由的建模方法，包括如下步骤：

S1：设计物理张量的分布式属性：将逻辑张量与物理张量的映射关系抽象为广播属性、散播属性和局部规约属性三种分布式属性；

S2：推演输出张量的分布式属性：指定输入张量的分布式属性，然后根据已知的输入张量的分布式属性推演输出张量的合法分布式属性；

S3：根据分布式属性情形判断是否需要插入中间通信原语得到局部物理张量的分布式属性；

S4：推演中间通信原语类型，具体子步骤如下：

S41：推演生产者算子的输出张量的分布式属性：根据生产者算子的输入张量的分布式属性，推演输出张量的合法分布式属性；

S42：推演中间通信原语：根据生产者算子输出张量的分布式属性和消费者算子所需的输入张量的分布式属性，推演出所需的中间通信原语类型；

S5：推导出中间通信原语的传输代价：推导出不同分布式属性之间进行转换的通信代价；

S6：推导中间通信原语的建模方式，子步骤如下：

S61：定义基本的原子操作；

S62：构建复杂操作：复杂操作由基本原子操作复合而成；

采用或方式构建复杂目标操作，获取的目标操作是多个原子操作的并联关系；

采用分冶方式构建复杂操作，获取的目标操作是多个原子操作通过中间分布式属性的串联关系；

采用复合方式构建复杂操作，所述复合方式指通过串联和并联组合使用构建更加复杂的目标操作；

S7：插入传输代价最小的中间通信原语：选择传输代价最小的原语，将其插入到全局逻辑张量和局部物理张量之间。