[发明专利]模型预测前后处理服务发布方法、装置、设备及介质

权利要求书

1.一种模型预测前后处理服务发布方法，其特征在于，包括：

初始化KServe框架的Transformer Pod，并生成数据卷目录；

在所述数据卷目录下创建用于存放Transformer代码文件的目标文件夹；

获取预先构建的下载程序，及获取预先构建的Transformer服务启动脚本；

打包所述下载程序及所述Transformer服务启动脚本至Transformer基础镜像中；

当接收到代码库地址及目标Transformer代码文件地址时，将所述代码库地址及所述目标Transformer代码文件地址作为参数传入所述Transformer服务启动脚本；

运行所述Transformer服务启动脚本，并根据所述代码库地址执行所述下载程序，以将目标Transformer代码文件拉取至所述目标文件夹；

根据所述目标Transformer代码文件地址启动所述目标文件夹中对应程序，以生成Transformer服务。

2.根据权利要求1所述的模型预测前后处理服务发布方法，其特征在于，所述打包所述下载程序及所述Transformer服务启动脚本至Transformer基础镜像中前，所述方法还包括：

在InferenceService发布前，通过镜像制作工具将代码及对应运行环境打包成所述Transformer基础镜像，并将所述Transformer基础镜像上传到镜像仓库中。

3.根据权利要求1所述的模型预测前后处理服务发布方法，其特征在于，所述根据所述代码库地址执行所述下载程序，以将目标Transformer代码文件拉取至所述目标文件夹，包括：

根据所述代码库地址连接至预先维护的代码仓库；

利用所述下载程序从所述代码仓库下载所述目标Transformer代码文件至所述目标文件夹。

4.根据权利要求3所述的模型预测前后处理服务发布方法，其特征在于，所述生成Transformer服务后，所述方法还包括：

当有模型调用参数格式变化需求及/或有新增模型服务时，根据所述模型调用参数格式变化需求及/或所述新增模型服务更新所述代码仓库中的代码。

5.根据权利要求1所述的模型预测前后处理服务发布方法，其特征在于，所述生成Transformer服务，包括：

在InferenceService中执行所述目标文件夹中存储的所述目标Transformer代码文件，得到所述Transformer服务。

6.根据权利要求1所述的模型预测前后处理服务发布方法，其特征在于，所述生成Transformer服务后，所述方法还包括：

基于所述Transformer服务将模型服务的调用接口输入参数和输出参数转换成可识别的数据结构。

7.根据权利要求6所述的模型预测前后处理服务发布方法，其特征在于，所述初始化KServe框架的Transformer Pod时，所述方法还包括：

初始化所述模型服务，并生成模型服务数据卷目录；

根据模型文件地址从存储服务器下载模型文件至所述模型服务数据卷目录，并启动模型预测服务。