[发明专利]一种提高GPU利用效率的算力池化系统

说明书

本发明公开了一种提高GPU利用效率的算力池化系统，包括最大指标检测模块、配额计算模块、算力运行指标检测模块和利用效率调度模块，通过对GPU进行资源池化处理，使计算机的整个数据中心在不同物理节点上的GPU资源被抽象成为虚拟的GPU资源池，通过GPU资源按需申请单元在计算机执行很多业务的过程中，通过对计算机GPU资源池化处理来解决单个业务独占GPU时会有大量显存空闲的问题，避免了计算机GPU资源的浪费，业务动态申请单元方便对利用不充分的GPU资源进行动态调度，从而使得闲置状态GPU资源能够被动态的分配到对应的运行环境中，使闲置的GPU资源能够进行动态的申请使用，并根据调度算法来使用空闲GPU资源，避免造成闲置GPU资源的浪费。

技术领域

本发明涉及GPU资源池化技术领域，具体为一种提高GPU利用效率的算力池化系统。

背景技术

近几年随着AI的快速发展，业务的快速落地，GPU、AI专用加速卡作为一种通用资源出现在数据中心，为了提高业务对它们的利用率、提高它们的运维效率，它们同样需要进行资源池化，GPU池化之后可以如同分布式共享存储一样，在数据中心被不同用户、业务弹性使用，把资源进行池化是数据中心提高资源利用率、提高运维效率的最重要的手段之一，资源池化是通过分布式软件、虚拟化等技术，把某一类资源抽象成为一种可以按照运维的管理要求、被整个数据中心各种用户和业务共享的资源，从而打破资源被用户和业务独占使用的模式，打破单台服务器的CPU、磁盘、网卡等物理资源数量的固定配比，并且能够动态根据用户和业务的需求来进行申请和释放，例如分布式的存储池、软件定义网络、云原生、云计算就是利用资源池化的思想和技术对磁盘、网络、服务器节点、业务应用等资源进行资源池化后的资源抽象；目前，使用各种硬件加速器包括GPU、AI专用加速卡等对AI算法进行加速已经成为必不可少的选择，这类GPU、AI专用加速卡的价值占据服务器成本相当大的比例，甚至超过一半的成本，因此如何使用好这些高价值的设备、提高业务对它们的利用率、提高对它们的运维效率成为目前亟需解决的问题。

发明内容

本发明提供一种提高GPU利用效率的算力池化系统，可以有效解决上述背景技术中提出如何使用好这些高价值的设备、提高业务对它们的利用率、提高对它们的运维效率的问题。

为实现上述目的，本发明提供如下技术方案：一种提高GPU利用效率的算力池化系统，包括最大指标检测模块、配额计算模块、算力运行指标检测模块和利用效率调度模块；

其中，利用效率调度模块包括GPU资源按需申请单元、业务动态申请单元、碎片化使用单元、资源动态调度单元、运维异构配置单元和服务器合理配置单元；所述GPU资源按需申请单元是指通过资源池化来避免资源浪费，所述业务动态申请单元是指通过动态申请释放和自动根据调度算法来使用整个计算机的空闲GPU资源，所述碎片化使用单元主要解决实际场景中各种可能导致GPU无法被分配使用的问题；

所述资源动态调度单元是指通过经过GPU资源池化来满足业务需求的前提下，扩大GPU的利用效率，所述运维异构配置单元主要解决传统的物理资源配比，提高计算机的运维效率和业务使用资源效率，所述服务器合理配置单元是指通过GPU资源池化来减少对基础设施的要求及成本。

根据上述技术方案，所述最大指标检测模块，用于对计算机GPU算力进行自动检测，得到历史最大运行指标；所述配额计算模块，用于根据所述历史最大运行指标，自动确定计算机的GPU算力配额。

根据上述技术方案，所述算力运行指标检测模块，用于检测计算机GPU算力在业务场景下的实时算力运行指标；所述利用效率调度模块，是指根据计算机GPU算力在业务场景下的实时运行指标，来自动调整计算机GPU利用效率的调度条件。