[发明专利]一种并行模式搜索空间构造系统和方法

说明书

本发明提供了一种并行模式搜索空间构造系统和方法，该方法为：初始化输入逻辑张量；计算并输出逻辑张量真值；构造所有候选并行模式，确定输入和输出张量并行模式迭代内容；结合输入张量并行模式迭代内容，切分输入逻辑张量为物理张量；判断物理张量计算合法性，若合法，计算物理张量结果并输出；若非法，继续输入张量并行模式迭代过程；结合输出张量并行模式迭代内容，合并物理张量运算结果为逻辑张量；对比逻辑张量真值和逻辑张量，若相等，将该并行模式添加到合法并行模式搜索空间中，并直接继续输入张量并行模式迭代过程；若不相等，继续输出张量并行模式迭代过程，直到迭代完成后，重复所述以上步骤，直到所述输入张量并行模式迭代过程完成。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种并行模式搜索空间构造系统和方法。

背景技术

随着分布式计算的普及，大型作业或大型逻辑张量会通过分割方式将不同部分的数据部署到不同的分布式数据处理系统的各个计算设备上进行处理，在各个计算过程中会进行中间参数的交互，这将引起计算设备之间的数据传输开销。随着数据量的增大，这种不同计算设备之间的数据传输开销对于分布式数据处理系统而言将造成极大的计算负担。

在申请号为“202010090335.2”， 公告号CN110955734B ，发明名称为“逻辑节点的分布式签名决策系统及其方法”的发明申请中，提出一种SBP分布式签名决策系统能够从全局角度讲静态分布式数据处理系统在处理数据过程中的不同计算设备之间的数据交换量最小化，从而减少的数据交互过程产生的开销。但该发明申请要求系统设计师基于分布式描述符根据自身经验事先在系统中定义有效并行模式搜索空间，这要求系统设计工程师具有全面的数学理论和丰富的系统分析经验。因此，在支持数据并行、模型并行和混合并行、流水并行的分布式数据处理系统中，如何自动化的生成并行模式搜索空间是提高分布式计算系统正确性、降低开发难度的关键问题。

发明内容

为了解决现有技术中存在的上述技术问题，本发明提出了一种并行模式搜索空间构造系统和方法，其具体技术方案如下：

一种并行模式搜索空间构造系统，包括：

初始化器，用于初始化输入逻辑张量；

迭代器，包括输入张量并行模式迭代器和输出张量并行模式迭代器，用于迭代并行模式搜索空间中的每一个候选并行模式；

计算器，包括逻辑算子计算引擎和物理算子计算引擎，所述逻辑算子计算引擎用于计算逻辑算子张量运算结果，输出逻辑张量真值，所述物理算子计算引擎计算物理算子张量运算结果，输出物理张量；

张量转换器，包括张量合并器和张量切分器，所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器，将逻辑张量转换为物理张量，所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器，将物理张量转换为逻辑张量；

张量对比器，用于比较两个或多个张量是否相等；

合法并行模式添加器，用于将判断合法的并行模式添加到合法并行模式搜索空间中。

进一步的，所述并行模式搜索空间中的每个候选并行模式，指定了其所属节点的每个输入张量的分布式描述符，以及每个输出张量的分布式描述符，并且每个已经确定并行模式的上游节点的输出端的分布式描述符，针对当前节点的每一个候选并行模式，都有确定的当前节点的输出并行模式。

进一步的，所述分布式描述符包括：分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符，且所述分布式描述符构成了所述张量转换器内容。

进一步的，所述计算器基于张量相乘运算以启动逻辑算子计算引擎和物理算子计算引擎，计算器的计算内容的表达式为：