[发明专利]基于Kubernetes集群的机器学习模型平台

权利要求书

1.一种基于Kubernetes集群的机器学习模型平台，其特征在于，包括：

网关模块，用于系统对外服务入口的统一代理；

认证服务及API模块，用于系统统一的认证服务；以及

模型服务模块，用于模型服务的具体容器部署；

所述机器学习模型平台按如下步骤实施：

步骤S1：发布者将机器学习模型包装为docker镜像，并集成相应的GRPC接口以及Protobuf说明文件；通过命令将该镜像发布到平台仓库中；

步骤S2：平台根据发布者提供的部署表单将模型实例部署到平台中，并自动进行网关端口转发以及负载均衡；

步骤S3：使用者通过URL以及权限认证token通过安全认证进行远程过程调用模型接口；

所述步骤S1具体包括以下步骤：

步骤S11：开发者通过docker容器完成模型开发和封装；

步骤S12：开发者按照规范封装后GRPC接口并准备好Protobuf文件；

步骤S13：开发者通过docker保存容器的镜像版本，并打上相应的标签；

步骤S14：将该镜像通过publish远程发送给平台私有仓库；

所述步骤S2具体包括以下步骤：

步骤S21：开发者通过平台提供的接口完成表单的填写，并将表单发送给平台后端；

步骤S22：平台后端根据表单内容从私有仓库中查找相应的镜像，并为该镜像生成实例容器部署于平台中；

步骤S23：平台通过envoy网关发现服务动态，为该容器提供相应的URL供外部调用；

所述步骤S3具体包括以下步骤：

步骤S31：使用者通过查阅平台的模型服务节点URL对模型服务进行远程调用；

步骤S32：模型调用过程中，通过网关将初始的请求转发到认证服务器，完成认证后再进一步转发给指定模型服务；

步骤S33：模型完成计算后返回相应的结果。

2.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述网关模块包括Envoy代理模块和服务发现模块，Envoy网关提供外网统一入口，通过对接Envoy服务发现接口，以实现自动注册内网服务簇的功能，同时通过反向代理和http中间管道过滤，为后续的认证模块、模型模块提供统一管理。

3.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述认证服务及API模块包括模型服务认证模块、Docker仓库认证模块和自动化部署模块，认证服务模块为Grpc模型、Docker私有仓库提供统一的身份认证以及授权管理服务，自动化部署模块集成创建kubernetes部署服务的过程，通过RestfulAPI为外部提供自动化部署接口。

4.根据权利要求1所述的基于Kubernetes集群的机器学习模型平台，其特征在于，所述模型服务模块包括Docker镜像仓库模块和Grpc模型服务模块，Docker镜像仓库模块采用Docker私有仓库镜像部署于kubernetes集群中；Grpc模型服务模块提供统一接口规范，由开发者根据规范编写机器学习模型镜像并通过Docker发布于平台的Docker私有仓库中。