[发明专利]模型部署方法、模型运行方法、装置、介质、及电子设备

权利要求书

1.一种模型部署方法，其特征在于，所述方法包括：

响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系和所述各异构硬件的相关信息，确定所述各异构硬件对应的所述原始模型的目标版本模型，其中，所述原始模型对应的映射关系用于表征原始模型中每一算子在不同异构硬件上运行时的耗时信息；

将所述各异构硬件对应的所述原始模型的目标版本模型下发至所述待部署终端，以在所述待部署终端中部署所述各异构硬件对应的所述原始模型的目标版本模型。

2.根据权利要求1所述的方法，其特征在于，所述原始模型对应的映射关系通过以下方式得到：

统计每一终端类型的各异构硬件的相关信息得到异构硬件列表，以及统计原始模型中每一算子得到原始模型的算子列表；

针对所述异构硬件列表中的每一异构硬件，遍历所述原始模型的算子列表，确定当前遍历到的算子在所述异构硬件上运行时的耗时信息，以得到当前遍历到的算子在每一异构硬件上运行时的耗时信息；

在遍历结束时，根据遍历过程中得到的每一算子在每一异构硬件上运行时的耗时信息，得到所述原始模型对应的映射关系。

3.根据权利要求1所述的方法，其特征在于，所述响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系以及各异构硬件的相关信息，确定所述各异构硬件对应的所述原始模型的目标版本模型，包括：

响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系和所述各异构硬件的相关信息，在所述原始模型的每一类算子中确定所述各异构硬件对应的耗时最小的算子，其中，实现相同功能的算子属于同一类算子；

根据所述原始模型的每一类算子中所述各异构硬件对应的耗时最小的算子，确定所述各异构硬件对应的所述原始模型的目标版本模型。

4.根据权利要求1所述的方法，其特征在于，在确定出所述各异构硬件对应的所述原始模型的目标版本模型之后，所述方法还包括：

获取所述原始模型对应的训练样本，并利用所述训练样本对所述各异构硬件对应的所述原始模型的目标版本模型进行训练；

所述将所述各异构硬件对应的所述原始模型的目标版本模型下发至所述待部署终端，以在所述待部署终端中部署所述各异构硬件对应的所述原始模型的目标版本模型，包括：

将训练完成的所述各异构硬件对应的所述原始模型的目标版本模型下发至所述待部署终端，以在所述待部署终端中部署训练完成的所述各异构硬件对应的所述原始模型的目标版本模型。

5.一种模型运行方法，其特征在于，所述方法包括：

在部署有各异构硬件对应的原始模型的目标版本模型的情况下，确定所述各异构硬件的当前剩余资源和所述各异构硬件运行其对应的待运行模型的目标版本模型的总时长，其中，按照如权利要求1-4中任一项所述方法在终端中部署各异构硬件对应的原始模型的目标版本模型，所述待运行模型为所述原始模型中的一者或多者；

根据所述各异构硬件的当前剩余资源和所述各异构硬件运行其对应的待运行模型的目标版本模型的总时长，确定运行所述待运行模型的目标异构硬件；

在所述目标异构硬件上运行所述目标异构硬件对应的待运行模型的目标版本模型。

6.根据权利要求5所述的方法，其特征在于，所述根据所述各异构硬件的当前剩余资源和所述各异构硬件运行其对应的待运行模型的目标版本模型的总时长，确定运行所述待运行模型的目标异构硬件，包括：

针对每一待运行模型，根据各异构硬件的当前剩余资源和所述各异构硬件运行其对应的该待运行模型的目标版本模型的总时长，确定各异构硬件运行其对应的该待运行模型的目标版本模型时的预估时长；

根据所述各异构硬件运行其对应的每一待运行模型的目标版本模型时的预估时长，确定运行每一待运行模型的目标异构硬件。