[发明专利]计算图的处理方法、装置和系统

说明书

本申请公开了一种计算图的处理方法、装置和系统。其中，该方法包括：获取计算图对应的融合动作集合，其中，融合动作集合包括至少一个融合动作，任意一个融合动作用于表示计算图中允许被融合的指令构成的指令对；查找每个融合动作对应的融合空间，得到融合动作对应的融合方案，其中，融合空间包括允许与融合动作融合的其他融合动作；从融合方案中选择待选择的融合方案，并根据目标融合方案，确定融合计算图。本申请解决了现有技术中的计算图的指令融合基于经验进行，导致融合后生成的代码性能较低的技术问题。

技术领域

本申请涉及领域，具体而言，涉及一种计算图的处理方法、装置和系统。

背景技术

近年来，人工智能(Artificial Intelligence，简称AI)技术在搜索、广告、电商、物流、零售、制造、教育、传媒影视等众多的业务场景得到了广泛应用。从计算的视角，上层业务的需求可被表达为由基本张量操作构成的计算图结构，然后通过系统软件将计算图映射到可在硬件高效执行的代码。因此，从张量操作图到特定硬件平台的编译质量决定了业务和硬件平台二者的适配效能，是影响上层业务落地成本的重要系统因素。

目前，针对人工智能业务的计算表达问题，目前主要是基于高级语言的计算图表示，然后通过专门的计算框架映射到底层硬件平台，该设计理念使得计算图不局限于人工智能业务。但为了兼顾用户表达的灵活性和业务多样性要求，图节点粒度在很多场景中比较细碎，且具有复杂的相互依赖结构，从而使得指令融合能力以及代码生成能力具有局限性。其中，对于指令融合能力，由于实际业务的计算图的复杂性，理论上存在的张量操作融合空间很大，在大量可能的融合方案中，现有方案的指令融合完全基于经验规则，在融合指令类型以及融合后的计算粒度方面存在不足。对于代码生成能力，现有方案在处理指令间计算结果中转时，无法充分利用现有GPU体系结构的特点。具体的，现有方案基于计算内联，通过寄存器复用来进行计算结果的中转，而对硬件存储的利用存在不足。另外，现有方案在处理多输出的计算图时，无法应对复杂的张量操作组合的情况。现有技术通常基于从特定业务问题提取的经验规则来解决上述问题，缺乏全面的系统化解决方案。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种计算图的处理方法、装置和系统，以至少解决现有技术中的计算图的指令融合基于经验进行，导致融合后生成的代码性能较低的技术问题。

根据本申请实施例的一个方面，提供了一种计算图的处理方法，包括：获取计算图对应的融合动作集合，其中，融合动作集合包括至少一个融合动作，任意一个融合动作用于表示计算图中允许被融合的指令构成的指令对；查找每个融合动作对应的融合空间，得到融合动作对应的融合方案，其中，融合空间包括允许与融合动作融合的其他融合动作；从融合方案中选择待选择的融合方案，并根据待选择的融合方案，确定融合计算图。

根据本申请实施例的另一方面，还提供了一种计算图的处理装置，包括：获取模块，用于获取计算图对应的融合动作集合，其中，融合动作集合包括至少一个融合动作，任意一个融合动作用于表示计算图中允许被融合的指令构成的指令对；查找模块，用于查找每个融合动作对应的融合空间，得到融合动作对应的融合方案，其中，融合空间包括允许与融合动作融合的其他融合动作；处理模块，用于从融合方案中选择待选择的融合方案，并根据待选择的融合方案，确定融合计算图。

根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的计算图的处理方法。

根据本申请实施例的另一方面，还提供了一种处理器，该处理器用于运行程序，其中，程序运行时执行上述的计算图的处理方法。