[发明专利]基于LRU策略最大化提升显存利用率的模型加载方法

说明书

本发明公开了基于LRU策略最大化提升显存利用率的模型加载方法，该方法包括以下步骤：构建与部署人脸识别、人像对比、人体分析三个模型并配置实例；启动定时任务，每相隔10分钟获取该段时间内GPU的实时利用率，并计算该时间段内的平均GPU利用率；通过最优资源调度策略调度计算滑动平均显存使用率；根据该段时间内的数据信息，通过最优资源调度策略预测得到下一段时间所需的实例数量；根据模型在下一段时间所需的实例数量与模型已使用的实例数量对实例数量进行调整。有益效果：通过LRU调度策略，使模型动态启停，解决了多模型共享显存低利用率的痛点，提升显存的利用率，进而节约资源。

技术领域

本发明涉及显存技术领域，具体来说，涉及基于LRU策略最大化提升显存利用率的模型加载方法。

背景技术

大企业做数字化转型的时候，必定会面临AI场景，有AI应用和AI能力的需求，在真正的AI能力的生产过程中，必定存在AI能力的调用，通常是基于AI能力开放平台对外提供API实现，基于模型版本之上做AI能力的上架和部署，在能力部署时，存在单模型和多模型组合部署，显然多模型组合部署更能体现资源利用的价值，在多模型部署的基础之上，需要解决CPU、GPU、内存、显存资源共享问题。而在AI能力（多模型）的日常生产过程中，必定存在应用上、不同时间段上对模型调用量存在差异化诉求，需要解决同一AI能力中A模型密集型调用和B模型零散型甚至零调用的差异化，从而导致A模型资源不足，B模型资源浪费；并且存在运行态模型置换的诉求，即同一能力包含多个模型（A、B、C），且每个模型都启动多个实例，前期资源仅能支撑有调用量的A和B此时C无调用请求，在后期生产运行当中会出现B无调用量C有调用量的需求，造成资源的占用与浪费。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出基于LRU策略最大化提升显存利用率的模型加载方法，以克服现有相关技术所存在的上述技术问题。

为此，本发明采用的具体技术方案如下：

基于LRU策略最大化提升显存利用率的模型加载方法，该方法包括以下步骤：

构建与部署人脸识别、人像对比、人体分析三个模型并配置实例；

启动定时任务，每相隔10分钟获取该段时间内GPU的实时利用率，并计算该时间段内的平均GPU利用率；

通过最优资源调度策略调度计算滑动平均显存使用率；

根据该段时间内的数据信息，通过最优资源调度策略预测得到下一段时间所需的实例数量；

根据模型在下一段时间所需的实例数量与模型已使用的实例数量对实例数量进行调整；

通过最优资源调度策略最终实现显存利用率的最大化。

进一步的，所述构建与部署人脸识别、人像对比、人体分析三个模型并配置实例包括以下步骤：

通过AI平台配置人脸识别、人像对比、人体分析三个模型能力；

给人脸识别、人像对比、人体分析三个模型分别配置6个可弹性伸缩的实例；

将人脸识别、人像对比、人体分析三个模型配置到同一显卡；

通过容器管理平台部署启动人脸识别、人像对比、人体分析三个模型。

进一步的，所述启动定时任务，每相隔10分钟获取该段时间内GPU的实时利用率，并计算该时间段内的平均GPU利用率包括以下步骤：

启动定时任务，每相隔10分钟通过资源监控工具获取该段时间内GPU的实时资源利用率；

将获取的GPU实时利用率存入，供后面最优资源调度策略（LRU）调度使用；

最优资源调度策略调度中心循环从远程字典服务获取某段时间数据，对该段时间内的GPU实时利用率进行采样，通过计算得到该段时间内的平均GPU利用率。

进一步的，所述每相隔10分钟通过资源监控工具获取该段时间内GPU的实时资源利用率包括以下步骤：