[发明专利]深度学习模型在线推理方法、装置、电子设备和存储介质

说明书

本发明提供了一种深度学习模型在线推理方法、装置、电子设备和存储介质，该方法包括：通过与深度学习框架对应的RPC调用接口接收在线推理请求；获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件，所述节点配置文件包括多个节点的IP地址和端口；从所述多个节点中确定一个节点，作为推理节点，并根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点，以使所述推理节点调用所述深度学习模型获得推理结果；接收所述推理节点返回的推理结果。本发明实现了通过RPC调用接口统一接收在线推理请求，并从部署深度学习模型的多个节点中通过负载均衡策略确定执行在线推理的推理节点，提升了在线推理性能。

技术领域

本发明涉及深度学习技术领域，特别是涉及一种深度学习模型在线推理方法、装置、电子设备和存储介质。

背景技术

做深度学习算法时在模型训练完毕后，往往需要将模型在生产环境中部署，以实现在线推理。最常见的方式，是在服务器上提供一个API，即客户机向服务器的某个API发送特定格式的请求，服务器收到请求数据后通过模型进行计算，并返回结果。

深度学习算法在线推理时可以通过深度学习框架TensorFlow模型或PyTorch模型来实现。现有技术中，这两种深度学习框架都是单节点部署，在数据量较大时，导致在线推理性能较差。而且深度学习框架多样，开发人员如果使用不同的深度学习框架，需要熟悉多种框架，学习成本大。

发明内容

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种深度学习模型在线推理方法、装置、电子设备和存储介质。

依据本发明的第一方面，提供了一种深度学习模型在线推理方法，包括：

通过与深度学习框架对应的远程过程调用RPC调用接口接收在线推理请求；

获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件，所述节点配置文件包括多个节点的IP地址和端口；

从所述多个节点中确定一个节点，作为推理节点，并根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点，以使所述推理节点调用所述深度学习模型获得推理结果；

接收所述推理节点返回的推理结果。

可选的，所述从所述多个节点中确定一个节点，作为推理节点，包括：

根据所述多个节点的有效权重，从所述多个节点中确定一个节点，作为推理节点。

可选的，在所述根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点之后，还包括：

若所述推理节点异常，则降低所述推理节点的有效权重；

若所述推理节点正常响应，则提升所述推理节点的有效权重。

可选的，所述深度学习框架包括PyTorch模型框架或TensorFlow模型框架。

可选的，在所述获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件之前，还包括：

获取基于PyTorch模型框架的深度学习模型对应的模型文件；

生成所述PyTorch模型框架的镜像文件，所述镜像文件包括PyTorch模型框架的运行环境和数据接口协议；

将所述镜像文件和模型文件发送至多个节点，以使所述多个节点分别运行所述镜像文件以创建容器，并将模型文件挂载到所述容器中，确定调用所述容器的端口；

获取所述多个节点的IP地址和端口，并将所述多个节点的IP地址和端口写入节点配置文件。

可选的，还包括：