[发明专利]模型预测前后处理服务发布方法、装置、设备及介质

说明书

本申请涉及人工智能技术，提供了模型预测前后处理服务发布方法、装置、设备及介质，能够在原生的数据卷目录下创建用于存放Transformer代码文件的目标文件夹，并打包预先构建的下载程序及Transformer服务启动脚本至Transformer基础镜像中，这样，当需要生成Transformer服务时，通过传入参数即可基于Transformer基础镜像从指定代码库拉取Transformer代码文件到Transformer Pod，并启动Transformer服务，仅需要维护一个通用Transformer基础镜像，降低了维护和管理镜像的成本。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种模型预测前后处理服务发布方法、装置、设备及介质。

背景技术

当前流行的开源KServe框架是一种对机器学习、深度学习模型进行自动化服务部署的组件，可以基于模型文件直接生成模型服务供其它组件调用。

现有技术中，对于KServe框架的前后处理服务(即transformer服务)，主要是将相关逻辑代码单独制作成一个镜像，然后在k8s环境中启动，上述方法主要存在以下问题：

当模型调用参数格式需要变化，或者有很多个模型服务在维护时，每次变更参数格式或新增模型服务时，都需要重新制作Transformer服务镜像，而镜像的维护和管理成本较高，服务启动时间方面也会变的更长。

发明内容

本申请实施例提供了一种模型预测前后处理服务发布方法、装置、计算机设备及存储介质，旨在解决模型预测前后处理服务维护及管理成本高的问题。

第一方面，本申请实施例提供了一种模型预测前后处理服务发布方法，其包括：

初始化KServe框架的Transformer Pod，并生成数据卷目录；

在所述数据卷目录下创建用于存放Transformer代码文件的目标文件夹；

获取预先构建的下载程序，及获取预先构建的Transformer服务启动脚本；

打包所述下载程序及所述Transformer服务启动脚本至Transformer基础镜像中；

当接收到代码库地址及目标Transformer代码文件地址时，将所述代码库地址及所述目标Transformer代码文件地址作为参数传入所述Transformer服务启动脚本；

运行所述Transformer服务启动脚本，并根据所述代码库地址执行所述下载程序，以将目标Transformer代码文件拉取至所述目标文件夹；

根据所述目标Transformer代码文件地址启动所述目标文件夹中对应程序，以生成Transformer服务。

第二方面，本申请实施例提供了一种模型预测前后处理服务发布装置，其包括：

初始化单元，用于初始化KServe框架的Transformer Pod，并生成数据卷目录；

创建单元，用于在所述数据卷目录下创建用于存放Transformer代码文件的目标文件夹；

获取单元，用于获取预先构建的下载程序，及获取预先构建的Transformer服务启动脚本；

打包单元，用于打包所述下载程序及所述Transformer服务启动脚本至Transformer基础镜像中；

传入单元，用于当接收到代码库地址及目标Transformer代码文件地址时，将所述代码库地址及所述目标Transformer代码文件地址作为参数传入所述Transformer服务启动脚本；