[发明专利]优化计算图的布局格式的方法、系统、设备和介质

说明书

提供一种优化计算图的布局格式的方法、系统、电子设备和非暂时存储介质，该方法包括：基于计算图中的算子被期望执行的次数信息来计算多个布局格式下的各个算子的多个总成本函数；通过比较得到所述多个总成本函数中最少的总成本函数从而确定以多个布局格式中与所述最少的总成本函数对应的布局格式来优化计算图。如此，通过考虑计算图中的算子被期望执行的次数信息来计算多个布局格式下的各个算子的多个总成本函数，能够更准确地考虑到由于各个算子期望被执行的次数而带来的各个算子实际带来的性能影响，从而确定更优化的那个布局格式，来以那个布局格式来优化计算图。

技术领域

本申请涉及人工智能领域，且更具体地涉及优化计算图的布局格式的方法、系统、电子设备和非暂时存储介质。

背景技术

人工智能学习任务的核心是模型的定义和模型的参数求解方式，这两者可以抽象为一个唯一的计算逻辑，即计算图。计算图中的节点代表算子(operator或Op)。算子对应的是计算逻辑，例如，卷积层(Convolution Layer)是一个算子；全连接层(Fully-connectedLayer，FC layer)中的权值求和过程是一个算子，而tanh、ReLU等是用做激活函数的算子。而每个节点之间连接线代表着节点之间的流动关系。在创建计算图的过程中，需要对计算图进行一系列处理，包括设备放置(device placement),图优化、图分区等。而图优化贯穿计算图处理过程的不同阶段，是最重要的节省计算资源的步骤之一。

发明内容

根据本申请的一个方面，提供一种优化计算图的布局格式的方法，包括：基于计算图中的算子被期望执行的次数信息来计算多个布局格式下的各个算子的多个总成本函数；通过比较得到所述多个总成本函数中最少的总成本函数从而确定以多个布局格式中与所述最少的总成本函数对应的布局格式来优化计算图。

根据本申请的另一个方面，提供一种优化计算图的布局格式的系统，包括：计算装置，被配置为基于计算图中的算子被期望执行的次数信息来计算多个布局格式下的各个算子的多个总成本函数；确定装置，被配置为通过比较得到所述多个总成本函数中最少的总成本函数从而确定以多个布局格式中与所述最少的总成本函数对应的布局格式来优化计算图。

根据本申请的另一个方面，提供一种电子设备，包括：存储器，用于存储指令；处理器，用于读取所述存储器中的指令，并执行根据本申请的实施例的方法。

根据本申请的另一个方面，提供一种非暂时存储介质，其上存储有指令，其中，所述指令在被处理器读取时，使得所述处理器执行根据本申请的实施例的方法。

如此，通过考虑计算图中的算子被期望执行的次数信息来计算多个布局格式下的各个算子的多个总成本函数，能够更准确地考虑到由于各个算子期望被执行的次数而带来的各个算子实际带来的性能影响，从而确定更优化的那个布局格式，来以那个布局格式来优化计算图。

附图说明

为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A示出了A、B算子间有布局的约束冲突的带有分支的计算图的示意图。

图1B和1C分别示出了通过插入对应的ReorderOp算子解决布局约束冲突的2个可选方案的示意图。

图2示出了张量流程软件的简档信息的示意图。

图3示出了计算图中分支算子和其分支的具体例子。

图4示出了带有循环的计算图的示意图。

图5A示出了在如图4所示的带有循环的计算图中R算子将布局格式L0转换为布局格式L1的方案1的示意图。