[发明专利]一种并行模式搜索空间构造系统和方法

权利要求书

1.一种并行模式搜索空间构造系统，其特征在于，包括：

初始化器，用于初始化输入逻辑张量；

迭代器，包括输入张量并行模式迭代器和输出张量并行模式迭代器，用于迭代并行模式搜索空间中的每一个候选并行模式；

计算器，包括逻辑算子计算引擎和物理算子计算引擎，所述逻辑算子计算引擎用于计算逻辑算子张量运算结果，输出逻辑张量真值，所述物理算子计算引擎计算物理算子张量运算结果，输出物理张量；

张量转换器，包括张量合并器和张量切分器，所述张量切分器用于结合输入逻辑张量和输入张量并行模式迭代器，将逻辑张量转换为物理张量，所述张量合并器用于结合输出物理张量和输出张量并行模式迭代器，将物理张量转换为逻辑张量；

张量对比器，用于比较两个或多个张量是否相等，具体的，用于对比逻辑张量真值和转换后逻辑张量是否相等，对比内容不限于逻辑张量形状、数值、数值类型，还包括其他张量固定属性；

合法并行模式添加器，用于将判断合法的并行模式添加到合法并行模式搜索空间中，其中，所述判断合法的并行模式具体为：利用张量对比器判断所述逻辑张量真值和转换后逻辑张量相等的并行模式。

2.如权利要求1所述的一种并行模式搜索空间构造系统，其特征在于，所述并行模式搜索空间中的每个候选并行模式，指定了其所属节点的每个输入张量的分布式描述符，以及每个输出张量的分布式描述符，并且每个已经确定并行模式的上游节点的输出端的分布式描述符，针对当前节点的每一个候选并行模式，都有确定的当前节点的输出并行模式。

3.如权利要求2所述的一种并行模式搜索空间构造系统，其特征在于，所述分布式描述符包括：分割张量分布式描述符、广播张量分布式描述符及部分和张量分布式描述符，且所述分布式描述符构成了所述张量转换器内容。

4.如权利要求1所述的一种并行模式搜索空间构造系统，其特征在于，所述计算器基于张量相乘运算以启动逻辑算子计算引擎和物理算子计算引擎，计算器的计算内容的表达式为：

初始化器初始的输入逻辑张量分别为X和W，X和W分别为m， n 维张量，即,，其中d_k和e_k分别为X或W第k维的大小。

5.一种采用权利要求1-4之一所述的并行模式搜索空间构造系统的并行模式搜索空间构造方法，包括如下步骤：

步骤1、利用初始化器初始化输入逻辑张量；

步骤2、将所述输入逻辑张量输入并启动逻辑算子计算引擎，输出逻辑张量真值；

步骤3、构造并行模式搜索空间，从而确定输入张量并行模式迭代器迭代分布式签名和输出张量并行模式迭代器迭代分布式签名；

步骤4、结合输入张量并行模式迭代器迭代分布式签名，利用张量切分器将所述输入逻辑张量转换为物理张量，并输出；

步骤5、判断物理张量，计算合法性，若合法，则将物理张量输入并启动物理算子计算引擎，输出物理张量运算结果；若非法，则将物理张量继续输入张量并行模式迭代器的迭代过程，直到迭代完成；

步骤6、结合输出张量并行模式迭代器迭代分布式签名，利用张量合并器将所述输出物理张量运算结果转换为逻辑张量，并输出；

步骤7、利用张量对比器判断所述逻辑张量真值和转换后逻辑张量是否相等，若相等，则利用合法并行模式添加器将该并行模式添加到合法并行模式搜索空间中，并直接继续所述输入张量并行模式迭代器的迭代过程；若不相等，继续所述输出张量并行模式迭代器的迭代过程，直到迭代完成后，继续所述输入张量并行模式迭代器迭代过程；

步骤8、重复步骤1至7，直到所述输入张量并行模式迭代器迭代完成，此时合法并行模式搜索空间构造完毕。

6.如权利要求5所述的一种并行模式搜索空间构造方法，其特征在于，所述利用初始化器初始化输入逻辑张量包括初始化张量的所有固定属性。