[发明专利]一种基于张量切分的张量处理方法和张量处理系统

说明书

本申请提供一种基于张量切分的张量处理方法和系统，该方法包括：确定用于对原始张量进行处理的多个操作算子中的目标算子；将相邻的至少两个目标算子组合为目标子图，其中所有目标算子与已组合的目标算子之差集为剩余目标算子；基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处理，所述其他算子为已组合的目标算子以外的其他操作算子。本申请能够明显提升对大尺寸张量进行复杂运算的效率。

技术领域

本申请涉及计算机信息处理领域，尤其涉及一种基于张量切分的张量 处理方法。

背景技术

近几年来，计算机系统处理能力取得了巨大发展。在某些情况下(例 如处理深度学习神经网络时)，会涉及二维或更高维张量的卷积计算。以 二维张量为例，在实际计算时，二维张量的某些参数有时可能会超出硬件 加速器的相关限制，例如张量的高度或宽度可能超出加速器的相应限制， 或者加速器对片上内存、可用的计算资源等可能会进行限制。这些限制都 制约了对大尺寸张量的处理。

为了解决上述问题，为了在上述限制存在的情况下对大尺寸张量进行 预定处理，可以将大尺寸张量进行切分(例如将二维/三维张量在高度上切 分为若干部分)，再分别对切分获得的各个部分进行前述预定处理，最后 将各部分的处理结果进行拼接，以获得对原大尺寸张量进行预定处理的处 理结果。一般而言，若需要依次对大尺寸张量进行若干次类似的处理，则 需要在每次处理前切分大尺寸张量，并在处理后将处理结果合并，以供后 续处理。

发明内容

本申请的一个目的是提供一种基于张量切分的张量处理方法和张量 处理系统。

根据本申请的一个方面，本申请提供了一种基于张量切分的张量处理 方法，该方法包括以下步骤：

确定用于对原始张量进行处理的多个操作算子中的目标算子；

将相邻的至少两个目标算子组合为目标子图，其中所有目标算子与已 组合的目标算子之差集为剩余目标算子；以及，

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处 理，所述其他算子为已组合的目标算子以外的其他操作算子，其中所述 目标子图以及所述剩余目标算子的输入张量分别经切分后输入。

根据本申请的另一方面，本申请提供了一种基于张量切分的张量处理 系统，该系统至少包括：

目标子图获取装置，用于获取包括至少两个目标算子的目标子图，其 中所述目标子图获取装置被配置为：

确定用于对原始张量进行处理的多个操作算子中的目标算子；以及，

将相邻的至少两个目标算子组合为目标子图，其中所有目标算子与已 组合的目标算子之差集为剩余目标算子；

以及，

张量处理装置，用于基于所述目标子图处理所述原始张量，其中所述 张量处理装置被配置为：

基于所述目标子图及其他算子，按原顺序对所述原始张量执行相应处 理，所述其他算子为已组合的目标算子以外的其他操作算子，其中所述目 标子图以及所述剩余目标算子的输入张量分别经切分后输入。

根据本申请的另一方面，本申请提供了一种计算机可读存储介质，该 计算机可读存储介质上存储有计算机程序，所述计算机程序被执行时能够 实现以上所述的张量处理方法。

根据本申请的另一方面，本申请提供了一种电子设备，该电子设备至 少包括：

一个或多个处理器；

存储器，其用于存储可执行指令；

所述一个或多个处理器被配置为经由所述可执行指令来实现以上所 述的张量处理方法。