[发明专利]一种基于多推理引擎系统的应用部署方法、装置及设备

权利要求书

1.一种基于多推理引擎系统的应用部署方法，其特征在于，包括：

获取待进行应用部署的源模型；

将所述源模型转换到多推理引擎系统的各个推理引擎上，得到每个所述推理引擎对应的目标模型；

对各个所述目标模型进行推理评估，根据推理评估结果确定性能最优的目标模型，并确定所述性能最优的目标模型对应的推理引擎，以作为最优推理引擎；

利用所述最优推理引擎进行应用部署；

所述对各个所述目标模型进行推理评估，根据推理评估结果确定性能最优的目标模型，包括：

对各个所述目标模型进行推理评估，得到每个所述目标模型的推理时长以作为推理评估结果；选择推理时长最短的目标模型，以作为性能最优的目标模型。

2.如权利要求1所述的方法，其特征在于，所述将所述源模型转换到多推理引擎系统的各个推理引擎上，包括：

确定所述源模型包括的算子；

对于多推理引擎系统中的每个推理引擎，判断所述源模型包括的算子是否全部为该推理引擎支持的算子；

若是，则将所述源模型转换到该推理引擎上；

若否，则利用内置插件替换所述源模型中该推理引擎不支持的算子，将所述源模型转换到该推理引擎上。

3.如权利要求2所述的方法，其特征在于，所述利用内置插件替换所述源模型中该推理引擎不支持的算子，包括：

判断多推理引擎系统中是否存在内置插件，其中所述内置插件为与所述源模型中该推理引擎不支持的算子相对应的插件；

若存在，则利用所述内置插件替换所述源模型中该推理引擎不支持的算子；

若不存在，则构造临时插件并利用所述临时插件替换所述源模型中该推理引擎不支持的算子，其中所述临时插件与所述源模型中该推理引擎不支持的算子的输入输出变量的数量和维度相同。

4.如权利要求1所述的方法，其特征在于，所述将所述源模型转换到多推理引擎系统的各个推理引擎上，包括：

判断所述源模型是否能够正常加载；

若是，则将所述源模型转换到多推理引擎系统的各个推理引擎上。

5.如权利要求4所述的方法，其特征在于，所述判断所述源模型是否能够正常加载，包括：

确定所述源模型的模型类型；调用所述模型类型的加载方法对所述源模型进行加载，以判断所述源模型是否能够正常加载。

6.如权利要求5所述的方法，其特征在于，所述确定所述源模型的模型类型，包括：

根据所述源模型的文件后缀，确定所述源模型的模型类型。

7.一种基于多推理引擎系统的应用部署装置，其特征在于，包括：

模型获取模块，用于获取待进行应用部署的源模型；

模型转换模块，用于将所述源模型转换到多推理引擎系统的各个推理引擎上，得到每个所述推理引擎对应的目标模型；

推理评估模块，用于对各个所述目标模型进行推理评估，根据推理评估结果确定性能最优的目标模型，并确定所述性能最优的目标模型对应的推理引擎，以作为最优推理引擎；

部署模块，用于利用所述最优推理引擎进行应用部署；

所述推理评估模块用于：

对各个所述目标模型进行推理评估，得到每个所述目标模型的推理时长以作为推理评估结果；选择推理时长最短的目标模型，以作为性能最优的目标模型。

8.一种基于多推理引擎系统的应用部署设备，其特征在于，包括：

存储器：用于存储计算机程序；

处理器：用于执行所述计算机程序，以实现如权利要求1至6任意一项所述的基于多推理引擎系统的应用部署方法。

9.一种可读存储介质，其特征在于，所述可读存储介质用于存储计算机程序，所述计算机程序被处理器执行时用于实现如权利要求1至6任意一项所述的基于多推理引擎系统的应用部署方法。