[发明专利]算法服务部署方法、服务平台和存储介质

说明书

本申请公开了一种算法服务部署方法、服务平台和存储介质，其中，算法服务部署方法包括：响应于从服务平台中API网关获取到的业务请求，在服务平台的模型管理系统选择与业务请求匹配的算法模型，再基于算法模型和算法基座，在服务平台的算法服务系统中构建算法服务，且算法基座用于为算法模型提供基础服务，且算法服务用于在运行时处理从API网关获取到的业务数据，在此基础上，获取服务平台中监控调度系统基于算法服务的运行信息所生成的调度策略，并基于调度策略对算法服务进行资源调度，且算法服务的运行信息由算法服务的算法基座收集得到。上述方案，能够提高GPU的资源利用率。

技术领域

本申请涉及算法服务技术领域，特别是涉及一种算法服务部署方法、服务平台和存储介质。

背景技术

随着深度学习技术的发展及快速的应用，如何基于算法服务的方式部署大量深度学习算法，成为一项重要的研究方向。由于深度学习模型的大量张量计算是需要大量的GPU(graphics processing unit，图形处理器)资源，进而导致深度学习算法在算法服务架构中无法发挥出应有的效率。

目前，对于深度学习算法的工程化方案主要还是以独立启动web服务的方式进行部署，但是GPU的动态使用、资源的分配等问题并没有得到有效解决。有鉴于此，如何提高GPU的资源利用率成为亟待解决的问题。

发明内容

本申请主要解决的技术问题是提供一种算法服务部署方法、服务平台和存储介质，能够提高GPU的资源利用率。

为了解决上述技术问题，本申请第一方面提供了一种算法服务部署方法，包括：响应于从服务平台中API网关获取到的业务请求，在服务平台的模型管理系统选择与业务请求匹配的算法模型，再基于算法模型和算法基座，在服务平台的算法服务系统中构建算法服务，且算法基座用于为算法模型提供基础服务，且算法服务用于在运行时处理从API网关获取到的业务数据，在此基础上，获取服务平台中监控调度系统基于算法服务的运行信息所生成的调度策略，并基于调度策略对算法服务进行资源调度，且算法服务的运行信息由算法服务的算法基座收集得到。

为了解决上述技术问题，本申请第二方面提供了一种服务平台，包括API网关、模型管理系统、算法服务系统和监控调度系统，文档获取模块用于获取文档集合；其中，API网关用于获取业务请求；模型管理系统用于选择与所述业务请求匹配的算法模型；算法服务系统用于基于所述算法模型和算法基座，构建算法服务，且所述算法基座用于为所述算法模型提供基础服务，且所述算法服务用于在运行时处理从所述API网关获取到的业务数据；监控调度系统用于基于所述算法服务的运行信息所生成的调度策略，并基于所述调度策略对所述算法服务进行资源调度，且所述算法服务的运行信息由所述算法服务的算法基座收集得到。

为了解决上述技术问题，本申请第三方面提供了一种计算机可读存储介质，存储有能够被处理器运行的程序指令，所述程序指令用于实现上述第一方面中的算法服务部署方法。

上述方案，通过响应于从服务平台中API网关获取到的业务请求，在服务平台的模型管理系统选择与业务请求匹配的算法模型，再基于算法模型和算法基座，在服务平台的算法服务系统中构建算法服务，且算法基座用于为算法模型提供基础服务，且算法服务用于在运行时处理从API网关获取到的业务数据，在此基础上，获取服务平台中监控调度系统基于算法服务的运行信息所生成的调度策略，并基于调度策略对算法服务进行资源调度，且算法服务的运行信息由算法服务的算法基座收集得到，由于算法基座为算法模型提供基础服务，有助于提高算法服务处理业务数据的效率，此外，调度策略对算法服务进行资源调度，有助于提高资源利用率。故此，通过调度策略对GPU进行动态使用，使资源合理分配，进而能够提高GPU的资源利用率。

附图说明

图1是本申请算法服务部署方法一实施例的流程示意图；

图2是算法基座中数据处理一实施例的示意图；

图3是本申请算法服务部署装置一实施例的框架示意图；