[发明专利]模型部署方法、模型运行方法、装置、介质、及电子设备

说明书

本公开涉及一种模型部署方法、模型运行方法、装置、介质、及电子设备。模型部署方法包括：响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系和各异构硬件的相关信息，确定各异构硬件对应的原始模型的目标版本模型，其中，原始模型对应的映射关系用于表征原始模型中每一算子在不同异构硬件上运行时的耗时信息；将各异构硬件对应的原始模型的目标版本模型下发至待部署终端，以在待部署终端中部署各异构硬件对应的原始模型的目标版本模型。如此，针对待部署终端的每一异构硬件，可以确定出与该异构硬件相适配的目标版本模型，能够充分发挥终端的硬件能效，提升模型的精度和运行效率，进而提升用户使用体验。

技术领域

本公开涉及人工智能技术领域，具体地，涉及一种模型部署方法、模型运行方法、装置、介质、及电子设备。

背景技术

自动机器学习(automatic machine learning，AutoML)提供数据清洗、特征工程、模型构建、模型训练和评估等机器学习的各个过程的全套自动化解决方法，以算力换人力和时间，减少对机器学习工程师的依赖。AutoML在模型构建、模型训练和评估的过程中通常利用模型搜索方法，获取可以部署于对应终端设备，以实现模型结构和模型参数的自动优化。由于终端存在多种类型，不同类型对应的硬件类型不同，使得计算能力或者计算性能参差不齐，从而导致终端所适配的最优模型的模型结构、模型大小各有不同。

相关技术中，多是将同一模型部署到所有终端上，无法确保所部署的模型与终端的计算能力或者计算性能相适配，无法使部署在终端上的模型的效果或性能达到最优。

发明内容

本公开的目的是提供一种模型部署方法、模型运行方法、装置、介质、及电子设备，以解决相关中存在的问题。

为了实现上述目的，本公开第一方面提供一种模型部署方法，所述方法包括：

响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系和所述各异构硬件的相关信息，确定所述各异构硬件对应的所述原始模型的目标版本模型，其中，所述原始模型对应的映射关系用于表征原始模型中每一算子在不同异构硬件上运行时的耗时信息；

将所述各异构硬件对应的所述原始模型的目标版本模型下发至所述待部署终端，以在所述待部署终端中部署所述各异构硬件对应的所述原始模型的目标版本模型。

可选地，所述原始模型对应的映射关系通过以下方式得到：

统计每一终端类型的各异构硬件的相关信息得到异构硬件列表，以及统计原始模型中每一算子得到原始模型的算子列表；

针对所述异构硬件列表中的每一异构硬件，遍历所述原始模型的算子列表，确定当前遍历到的算子在所述异构硬件上运行时的耗时信息，以得到当前遍历到的算子在每一异构硬件上运行时的耗时信息；

在遍历结束时，根据遍历过程中得到的每一算子在每一异构硬件上运行时的耗时信息，得到所述原始模型对应的映射关系。

可选地，所述响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系以及各异构硬件的相关信息，确定所述各异构硬件对应的所述原始模型的目标版本模型，包括：

响应于接收到待部署终端的各异构硬件的相关信息，根据原始模型对应的映射关系和所述各异构硬件的相关信息，在所述原始模型的每一类算子中确定所述各异构硬件对应的耗时最小的算子，其中，实现相同功能的算子属于同一类算子；

根据所述原始模型的每一类算子中所述各异构硬件对应的耗时最小的算子，确定所述各异构硬件对应的所述原始模型的目标版本模型。

可选地，在确定出所述各异构硬件对应的所述原始模型的目标版本模型之后，所述方法还包括：

获取所述原始模型对应的训练样本，并利用所述训练样本对所述各异构硬件对应的所述原始模型的目标版本模型进行训练；