[发明专利]一种基于张量切分的张量处理方法和张量处理系统

权利要求书

1.一种基于张量切分的张量处理方法，其特征在于，包括：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

将相邻的至少两个目标算子组合为目标子图，其中所有目标算子与已组合的目标算子之差集为剩余目标算子；

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合的目标算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

2.根据权利要求1所述的方法，其特征在于，所述操作算子用于执行卷积计算或者池化计算。

3.根据权利要求1所述的方法，其特征在于，所述目标算子满足筛选条件，所述筛选条件包括：

基于相应操作算子的预期输入张量的高度超出硬件允许值；或者，

基于相应操作算子处理其预期输入所需的内存需求超出可用片上内存。

4.根据权利要求3所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，其中基于所述目标子图处理其预期输入所需的内存需求在可用片上内存的范围之内。

5.根据权利要求3所述的方法，其特征在于，还包括：

将所述目标子图的前序算子或后继算子中的至少一个合并至所述目标子图，以获得更新后的目标子图，其中基于原目标子图处理其预期输入所需的内存需求超出可用片上内存；

所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

基于更新后的目标子图及其他算子，按原顺序对所述原始张量执行相应处理。

6.根据权利要求5所述的方法，其特征在于，所述将所述目标子图的前序算子或后继算子中的至少一个合并至所述目标子图，以获得更新后的目标子图，其中基于原目标子图处理其预期输入所需的内存需求超出可用片上内存的步骤，包括：

在所述目标子图的前序算子及后继算子中，优选确定待合并算子；

将所述待合并算子合并至所述目标子图，以获得更新后的目标子图；

其中，基于原目标子图处理其预期输入所需的内存需求超出可用片上内存。

7.根据权利要求5所述的方法，其特征在于，所述基于更新后的目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入；

若基于当前目标子图处理其预期输入所需的内存需求超出可用片上内存，增加对所述预期输入的切分数量，并基于更新后的切分数量重新切分所述预期输入。

8.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合的目标算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入的步骤，包括：

确定所述目标子图以及所述剩余目标算子的输入张量的切分数量，并基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

9.根据权利要求1至7中任一项所述的方法，其特征在于，所述基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理的步骤，包括：

按所述目标子图及其他算子的原顺序，基于所述目标子图对所述原始张量执行相应处理；

按所述目标子图及其他算子的原顺序，基于其他算子对所述原始张量执行相应处理；

其中，所述基于所述目标子图对所述原始张量执行相应处理，包括：

依次经过所述目标子图中的各操作算子对所述原始张量执行相应处理。