[发明专利]一种基于多推理引擎系统的应用部署方法、装置及设备

说明书

本申请公开了一种基于多推理引擎系统的应用部署方法，对于给定的源模型，该方法能够自动实现源模型到不同推理引擎上的转换，并对转换得到的模型模型进行推理评估，最终根据推理评估结果选择最优的推理引擎，以用于后续应用部署。实现了对系统中每一个推理引擎的自动化评估，降低了推理引擎选择过程的专业门槛和工作量，避免开发人员由于对推理引擎不熟悉而花费大量时间和精力选择推理引擎，有助于提升应用部署效率。此外，本申请还提供了一种基于多推理引擎系统的应用部署装置、设备及可读存储介质，其技术效果与上述方法的技术效果相对应。

技术领域

本申请涉及深度学习技术领域，特别涉及一种基于多推理引擎系统的应用部署方法、装置、设备及可读存储介质。

背景技术

随着深度学习的发展，越来越多的深度学习框架涌现。在模型开发阶段，以google的tensorflow和facebook的pytorch使用最为广泛。然而，在涉及到具体的应用部署时，考虑到性能、存储等因素的影响，大多都采用caffe、onnx、tensorrt、tvm等推理引擎进行应用部署。面对诸多的推理引擎，如何选取最适合、性能最优的推理引擎进行应用部署，是实际应用的一大难点。

由于不同的推理引擎对算子的支持程度不同，加速性能也不同，如果逐个尝试，不仅实现起来难度大，而且费时费力，最终事倍功半。另外，对于模型开发人员，通常只对模型开发的深度学习框架较为熟悉，对推理引擎接触的较少，如果只是实现一个推理引擎上模型的转换部署 ，通过一段时间的学习还尚可，但对于模型在多个推理引擎上的实现及性能对比，则需要耗费大量的时间和精力，这对模型的应用部署是非常不友好的。

综上，将源模型转换到不同推理引擎并进行评估测试这一过程对开发人员要求很高，不仅需要编写代码，还需要搭建复杂的环境，费时费力，效率低下。

发明内容

本申请的目的是提供一种基于多推理引擎系统的应用部署方法、装置、设备及可读存储介质，用以解决目前主要依赖人工选择合适的推理引擎，导致应用部署效率低下的问题。其具体方案如下：

第一方面，本申请提供了一种基于多推理引擎系统的应用部署方法，包括：

获取待进行应用部署的源模型；

将所述源模型转换到多推理引擎系统的各个推理引擎上，得到每个所述推理引擎对应的目标模型；

对各个所述目标模型进行推理评估，根据推理评估结果确定性能最优的目标模型，并确定所述性能最优的目标模型对应的推理引擎，以作为最优推理引擎；

利用所述最优推理引擎进行应用部署。

可选的，所述将所述源模型转换到多推理引擎系统的各个推理引擎上，包括：

确定所述源模型包括的算子；

对于多推理引擎系统中的每个推理引擎，判断所述源模型包括的算子是否全部为该推理引擎支持的算子；

若是，则将所述源模型转换到该推理引擎上；

若否，则利用内置插件替换所述源模型中该推理引擎不支持的算子，将所述源模型转换到该推理引擎上。

可选的，所述利用内置插件替换所述源模型中该推理引擎不支持的算子，包括：

判断多推理引擎系统中是否存在内置插件，其中所述内置插件为与所述源模型中该推理引擎不支持的算子相对应的插件；

若存在，则利用所述内置插件替换所述源模型中该推理引擎不支持的算子；

若不存在，则构造临时插件并利用所述临时插件替换所述源模型中该推理引擎不支持的算子，其中所述临时插件与所述源模型中该推理引擎不支持的算子的输入输出变量的数量和维度相同。