[发明专利]一种基于并行分支和张量切分的张量处理方法和处理系统

说明书

本申请提供一种基于并行分支和张量切分的张量处理方法和处理系统，该方法包括：确定用于对原始张量进行处理的多个操作算子中的目标算子；组合至少一个目标算子以及至少一个其他算子以生成目标子图，其中所述目标算子与所述其他算子具有相同的直接后继算子，所有目标算子与已组合的目标算子之差集为剩余目标算子；以及，基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。本申请能够明显提升对大尺寸张量进行复杂运算(例如运算所需的各类计算资源超出系统资源限制)的效率。

技术领域

本申请涉及计算机信息处理领域，尤其涉及一种基于并行分支和张量切分的张量处理方法和处理系统。

背景技术

近几年来，计算机系统处理能力取得了巨大发展。在某些情况下(例如处理深度学习神经网络时)，会涉及二维或更高维张量的卷积计算。以二维张量为例，在实际计算时，二维张量的某些参数有时可能会超出硬件加速器的相关限制，例如张量的高度或宽度可能超出加速器的相应限制，或者加速器对片上内存、可用的计算资源等可能会进行限制。这些限制都制约了对大尺寸张量的处理。

尤其是，在一些复杂的计算场景下，计算中的同一个二维张量可能会在进行不同的处理，即产生了分支。其中，分支是一个计算图层面的概念，表示同一个张量作为两个不同算子的输入，产生不同的输出。为了便于说明，图1以谷歌(Google)公司推出的一种基于Inception模块的深度神经网络模型GoogLeNet为例进行说明，其中从T0的Pooling开始，处理过程“分叉”(出现分支)，分别经过以下4个分支分别进行计算：1)T0-T1-T2；2)T0-T3-T4；3)T0-T5-T6；4)T0-T7。最后各分支在Concat汇合。在这种情况下，对每个分支分别进行处理的过程中均有可能会遇到上面所提到的加速器对计算资源的限制。

为了在上述限制存在的情况下对大尺寸张量进行预定处理，可以将大尺寸张量进行切分(例如将二维/三维张量在高度上切分为若干部分)，再分别对切分获得的各个部分进行前述预定处理，最后将各部分的处理结果进行拼接，以获得对原大尺寸张量进行预定处理的处理结果。一般而言，若需要依次对大尺寸张量进行若干次类似的处理，则需要在每次处理前切分大尺寸张量，并在处理后将处理结果合并，以供后续处理；而对于多分支的情况，则需要对每个分支分别进行相应的处理，张量计算的规模将迅速扩大。

发明内容

本申请的一个目的是提供一种基于并行分支和张量切分的张量处理方法，该方法包括：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

组合至少一个目标算子以及至少一个其他算子以生成目标子图，其中所述目标算子与所述其他算子具有相同的直接后继算子，所有目标算子与已组合的目标算子之差集为剩余目标算子；

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合至目标子图的操作算子以外的其他操作算子，其中所述目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

根据本申请的另一方面，本申请还提供了一种基于并行分支和张量切分的张量处理系统，该系统至少包括：

目标子图获取装置，用于获取包括目标算子的目标子图，其中所述目标子图获取装置被配置为：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

组合至少一个目标算子以及至少一个其他算子以生成目标子图，其中所述目标算子与所述其他算子具有相同的直接后继算子，所有目标算子与已组合的目标算子之差集为剩余目标算子；

以及，

张量处理装置，用于基于所述目标子图处理所述原始张量，其中所述张量处理装置被配置为：