[发明专利]深度学习中在线推理的优化方法、装置及计算机存储介质

说明书

本发明实施例公开了一种深度学习中在线推理的优化方法、装置及计算机存储介质。该方法包括：获取对应于预设深度学习模型的第一计算图；将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算，得到第二计算图；根据所述第二计算图，生成最优硬件代码。根据本发明实施例，可以大幅度降低深度学习中在线推理过程的延时，提升响应速度。

技术领域

本发明涉及机器学习技术领域，更具体地，涉及一种深度学习中在线推理的优化方法、装置及计算机存储介质。

背景技术

深度学习一般分为训练和在线推理两个阶段，训练阶段主要用于搜索和求解深度学习模型的最优参数，在线推理阶段关注于如何应用训练好的深度学习模型。

在互联网的一些核心应用场景，如广告/推荐/搜索等具有高维稀疏数据特性的应用场景中，在线推理服务面临巨大的挑战：大规模稀疏场景下单PV算力需求为1～10GFLOPs，同时RT约束严格在10ms以下。

现有技术中，通常基于nvidia提供的cudnn和intel提供的mkl库，对训练得到的原始计算图使用图优化技术改写为简单的粗粒度描述的计算图，再使用OP优化技术生成用于在不同的硬件上执行的硬件代码。但该方案的在线推理的延时较大，性能无法满足上述应用场景的需求。因此，发明人认为，有必要针对上述现有技术中存在的至少一个问题进行改进。

发明内容

本发明实施例的一个目的是提供一种深度学习中在线推理的优化的新技术方案。

根据本发明实施例的第一方面，提供了一种深度学习中在线推理的优化方法，所述方法包括：

获取对应于预设深度学习模型的第一计算图；

将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算，得到第二计算图；

根据所述第二计算图，生成最优硬件代码。

可选地，所述获取对应于预设深度学习模型的第一计算图的步骤，包括：

从训练系统获取所述预设深度学习模型；

将所述预设深度学习模型的数据格式转换为预设标准数据格式，得到第一计算图。

可选地，所述将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算的步骤，包括：

根据预设单PV算力将所述第一计算图进行拆分为多个计算子图，并分配至不同的处理单元进行并行计算；

其中，所述预设单PV算力是根据所述预设深度学习模型离线计算得到的。

可选地，所述根据所述第二计算图，生成最优硬件代码的步骤，包括：

对所述第二计算图进行图改写优化，得到第三计算图；所述第三计算图的计算复杂度低于所述第二计算图；

对所述第三计算图进行OP优化，生成所述最优硬件代码。

可选地，所述OP优化至少包括：自动代码生成，循环神经网络RNN手动优化，低精度/量化优化中的一个。

可选地，所述预设标准数据格式为开放神经网络交换ONNX数据格式。

可选地，所述处理单元包括：中央处理单元CPU/图形处理器GPU；或者，所述处理单元包括CPU/现场可编程门阵列FPGA。

根据本发明实施例的第二方面，提供了一种深度学习中在线推理的优化装置，所述装置包括：

获取模块，用于获取对应于待训练目标数据的第一计算图；

分配模块，用于将所述第一计算图拆分为多个计算子图分配至不同处理单元进行并行计算，得到第二计算图；