[发明专利]深度学习模型在线推理方法、装置、电子设备和存储介质

权利要求书

1.一种深度学习模型在线推理方法，应用于提供统一调用RPC服务的服务器，其特征在于，包括：

通过与深度学习框架对应的远程过程调用RPC调用接口接收在线推理请求；

获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件，所述节点配置文件包括基于所述深度学习框架部署的深度学习模型的实例所在的多个节点的IP地址和端口；

从所述多个节点中确定一个节点，作为推理节点，并根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点，以使所述推理节点调用所述深度学习模型获得推理结果；

接收所述推理节点返回的推理结果。

2.根据权利要求1所述的方法，其特征在于，所述从所述多个节点中确定一个节点，作为推理节点，包括：

根据所述多个节点的有效权重，从所述多个节点中确定一个节点，作为推理节点。

3.根据权利要求2所述的方法，其特征在于，在所述根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点之后，还包括：

若所述推理节点异常，则降低所述推理节点的有效权重；

若所述推理节点正常响应，则提升所述推理节点的有效权重。

4.根据权利要求1所述的方法，其特征在于，所述深度学习框架包括PyTorch模型框架或TensorFlow模型框架。

5.根据权利要求4所述的方法，其特征在于，在所述获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件之前，还包括：

获取基于PyTorch模型框架的深度学习模型对应的模型文件；

生成所述PyTorch模型框架的镜像文件，所述镜像文件包括PyTorch模型框架的运行环境和数据接口协议；

将所述镜像文件和模型文件发送至多个节点，以使所述多个节点分别运行所述镜像文件以创建容器，并将模型文件挂载到所述容器中，确定调用所述容器的端口；

获取所述多个节点的IP地址和端口，并将所述多个节点的IP地址和端口写入节点配置文件。

6.根据权利要求5所述的方法，其特征在于，还包括：

获取所述深度学习模型对应的前处理程序和/或后处理程序；

将所述前处理程序和/或后处理程序写入自定义接口文件；

将所述自定义接口文件发送至所述多个节点，以使所述多个节点将所述自定义接口文件挂载到所述容器中。

7.根据权利要求5所述的方法，其特征在于，还包括：

获取所述深度学习模型对应的模型执行过程；

将所述模型执行过程写入自定义接口文件；

将所述自定义接口文件发送至所述多个节点，以使所述多个节点将所述自定义接口文件挂载到所述容器中。

8.根据权利要求5所述的方法，其特征在于，所述根据所述推理节点的IP地址和端口将所述在线推理请求发送至所述推理节点，包括：

通过所述数据接口协议对所述在线推理请求进行解析，得到请求数据；

根据所述推理节点的IP地址和端口，将所述请求数据发送至所述推理节点；

在所述接收所述推理节点返回的推理结果之后，还包括：

通过所述数据接口协议对所述推理结果进行封装，并将封装后的推理结果返回至所述在线推理请求的请求方。

9.根据权利要求4所述的方法，其特征在于，在所述获取基于所述深度学习框架部署的深度学习模型对应的节点配置文件之前，还包括：

获取Tensorflow-Serving镜像，并获取基于TensorFlow模型框架的深度学习模型的模型文件；

将所述Tensorflow-Serving镜像和模型文件发送至多个节点，由所述多个节点运行所述Tensorflow-Serving镜像以创建容器，并将所述模型文件挂载到所述容器中，确定调用所述容器的端口；

获取所述多个节点的IP地址和端口，并将所述多个节点的IP地址和端口写入节点配置文件。