[发明专利]基于K8s集群的离线预测方法、系统、存储介质及终端

说明书

本发明属于机器学习技术领域，公开了一种基于K8s集群的离线预测方法、系统、存储介质及终端，将离线预测部署为K8s上的Job/CronJob资源；Job/CronJob中的业务容器中包含离线预测的业务逻辑代码。默认的业务容器包括加载Sklearn框架、tensorflow框架、和pytorch框架的模型，同时用户也可以选择自定义镜像。本发明首先要解决环境隔离问题，减少用户运维工作量，既要满足用户在简单场景下的需求(即只提供单一模型文件和数据文件)和复杂场景下的需求(即需要高度自定义的业务逻辑)。本发明提供的方便使用的前端页面，可以让用户配置模型/自定义镜像、单次或周期性定时执行逻辑、资源限额等。

技术领域

本发明属于机器学习技术领域，尤其涉及一种基于K8s集群的离线预测方法、系统、存储介质、终端及应用。

背景技术

目前，机器学习的生命周期，包括数据准备、模型训练、模型部署和应用等阶段。其中，模型部署有两种形式，第一种是在线预测，即启动一个在线服务并加载模型，通过网络请求和反馈来接受用户想要进行预测的用例，并提供预测结果；第二种是离线预测，即用户指定在某一个具体的时间，或周期性定时执行对某一大批量数据的预测任务，并通过文件等方式向用户一次性返回一批预测结果。

当前的离线预测解决方案通常有以下几种思路：

现有技术一：直接在单机(裸机或虚拟机环境)进行离线预测，该思路下，用户需要提供离线预测所需的全部代码、模型文件、数据文件，并需要通过编写shell脚本来执行单次或周期性定时任务。这种思路的优点是灵活，缺点是用户有大量编码和运维工作量，且一台机器上同时跑多个不同场景的离线预测任务可能会面临环境(python包、cuda版本等)的冲突。

现有技术二：在容器环境中进行离线预测，该种解决思路相比于现有技术一的优点在于，容器实现了环境隔离，用户减少了处理环境冲突方面的运维工作量，但实际编码和容器方面的运维成本仍然较高。

现有技术三：在公有云平台上进行离线预测，该种思路通常呈现两种方案，一是用户只需要提供模型文件和数据文件，有公有云平台提供加载模型和进行预测的程序，以及依赖的运行环境，这种方案更为简单，但提供功能有限，在运行环境、算法框架、模型格式、数据格式等方面均必须符合平台的规定；现有技术二方案更为灵活，用户可以自定义离线预测的业务逻辑代码和模型，平台提供运行软硬件环境。公有云平台进行离线预测的方案并不能适用于用户的模型、业务逻辑、数据等必须保密的场景。

通过上述分析，现有技术存在的问题及缺陷为：

(1)现有技术用户有大量编码和运维工作量，且一台机器上同时跑多个不同场景的离线预测任务可能会面临环境(python包、cuda版本等)的冲突，导致冲突的原因和影响：不同版本的机器学习(如sklearn)和深度学习包

(tensorflow、pytorch等)所依赖的底层环境不同，包括操作系统的底层C类库(如glibc)、显卡驱动、cuda、cudnn版本、基础python包版本等，因此当我们部署的多个离线预测多依赖的机器学习。深度学习包版本不同，就会导致底层依赖的冲突，导致这些离线预测无法顺利地在一台裸机上共存。

(2)现有技术实际编码和容器方面的运维成本较高。

(3)现有技术提供功能有限，在运行环境、算法框架、模型格式、数据格式等方面均必须符合平台的规定。

(4)目前现有技术急需解决的环境隔离问题，减少用户运维工作量，既要满足用户在简单场景下的需求(即只提供单一模型文件和数据文件)和复杂场景下的需求(即需要高度自定义的业务逻辑)。

解决以上问题及缺陷的难度为：

需要解决环境隔离、资源分配和调度问题，使每一个离线预测都有一套自己单独的环境来运行，多个不同的离线预测之间互不影响；