[发明专利]深度学习中在线推理的优化方法、装置及计算机存储介质

权利要求书

1.一种深度学习中在线推理的优化方法，其特征在于，所述方法包括：

获取对应于预设深度学习模型的第一计算图；

将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算，得到第二计算图；

根据所述第二计算图，生成最优硬件代码。

2.根据权利要求1所述的方法，其特征在于，所述获取对应于预设深度学习模型的第一计算图的步骤，包括：

从训练系统获取所述预设深度学习模型；

将所述预设深度学习模型的数据格式转换为预设标准数据格式，得到第一计算图。

3.根据权利要求2所述的方法，其特征在于，所述将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算的步骤，包括：

根据预设单PV算力将所述第一计算图进行拆分为多个计算子图，并分配至不同的处理单元进行并行计算；

其中，所述预设单PV算力是根据所述预设深度学习模型离线计算得到的。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第二计算图，生成最优硬件代码的步骤，包括：

对所述第二计算图进行图改写优化，得到第三计算图；所述第三计算图的计算复杂度低于所述第二计算图；

对所述第三计算图进行OP优化，生成所述最优硬件代码。

5.根据权利要求4所述的方法，其特征在于，所述OP优化至少包括：自动代码生成，循环神经网络RNN手动优化，低精度/量化优化中的一个。

6.根据权利要求2所述的方法，其特征在于，所述预设标准数据格式为开放神经网络交换ONNX数据格式。

7.根据权利要求3所述的方法，其特征在于，所述处理单元包括：中央处理单元CPU/图形处理器GPU；或者，所述处理单元包括CPU/现场可编程门阵列FPGA。

8.一种深度学习中在线推理的优化装置，其特征在于，所述装置包括：

获取模块，用于获取对应于待训练目标数据的第一计算图；

分配模块，用于将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算，得到第二计算图；

生成模块，用于根据所述第二计算图，生成最优硬件代码。

9.一种深度学习中在线推理的优化装置，其特征在于，所述装置包括：存储器和处理器，所述存储器用于存储指令；所述指令用于控制所述处理器进行操作，以执行如权利要求1-7中任意一项所述的深度学习中在线推理的优化方法。

10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如权利要求1-7中任意一项所述的深度学习中在线推理的优化方法。