[发明专利]算法服务部署方法、服务平台和存储介质

权利要求书

1.一种算法服务部署方法，其特征在于，包括：

响应于从服务平台中API网关获取到的业务请求，在所述服务平台的模型管理系统选择与所述业务请求匹配的算法模型；

基于所述算法模型和算法基座，在所述服务平台的算法服务系统中构建算法服务；其中，所述算法基座用于为所述算法模型提供基础服务，且所述算法服务用于在运行时处理从所述API网关获取到的业务数据；

获取所述服务平台中监控调度系统基于所述算法服务的运行信息所生成的调度策略，并基于所述调度策略对所述算法服务进行资源调度；其中，所述算法服务的运行信息由所述算法服务的算法基座收集得到。

2.根据权利要求1所述的方法，其特征在于，所述算法服务在满足第一条件的情况下，所述调度策略包括将所述算法服务移出GPU显存；

和/或，在所述算法服务的调用量小于第一阈值情况下，所述调度策略包括减少所述算法服务的数量；

和/或，在所述算法服务的调用量大于第二阈值情况下，所述调度策略包括增加所述算法服务的数量。

3.根据权利要求1所述的方法，其特征在于，所述服务平台还包括文档服务系统，所述文档服务系统用于获取算法服务接口信息，并基于所述算法服务接口信息生成接口文档；其中，所述接口文档包含所述算法服务的使用说明。

4.根据权利要求1所述的方法，其特征在于，所述服务平台还包括运行统计系统，所述运行统计系统用于统计所述算法服务的调用成功数量、所述算法服务的报错数量和各所述算法模型的更新频次；其中，所述运行统计系统包括显示装置，所述显示装置用于实时显示所述运行统计系的统计结果。

5.根据权利要求1所述的方法，其特征在于，在所述获取所述服务平台中监控调度系统基于所述算法服务的运行信息所生成的调度策略，并基于所述调度策略对所述算法服务进行资源调度之后，所述方法还包括：

获取训练数据；

基于所述训练数据，更新所述算法模型的网络参数，得到新的算法模型；

基于所述新的算法模型，替换所述模型管理系统中的算法模型。

6.根据权利要求5所述的方法，其特征在于，所述获取训练数据，包括：

基于所述算法服务的运行数据，选择得到所述算法服务中所述算法模型的输入信息和输出信息；

和/或，基于所述服务平台中数据收集平台，选择得到所述算法模型的样本信息。

7.根据权利要求5所述的方法，其特征在于，所述基于所述训练数据，更新所述算法模型的网络参数，包括：

基于所述训练数据，选择用于当前算法模型的样本训练数据；

基于所述样本训练数据，更新所述算法模型的网络参数。

8.根据权利要求1所述的方法，其特征在于，在响应于从服务平台中API网关获取到的业务请求，在所述服务平台的模型管理系统选择与所述业务请求匹配的算法模型之前，所述方法包括：启动服务平台；其中，所述服务平台包括API网关，且所述API网关的启动数量基于所述业务请求数量确定。

9.一种服务平台，其特征在于，包括：

API网关，用于获取业务请求；

模型管理系统，用于选择与所述业务请求匹配的算法模型；

算法服务系统，用于基于所述算法模型和算法基座，构建算法服务，且所述算法基座用于为所述算法模型提供基础服务，且所述算法服务用于在运行时处理从所述API网关获取到的业务数据；

监控调度系统，用于基于所述算法服务的运行信息所生成的调度策略，并基于所述调度策略对所述算法服务进行资源调度，且所述算法服务的运行信息由所述算法服务的算法基座收集得到。

10.根据权利要求9所述的服务平台，其特征在于，所述服务平台包括文档服务系统，所述文档服务系统用于获取算法服务接口信息，并基于所述算法服务接口信息生成接口文档，且所述接口文档包含所述算法服务的使用说明。