[发明专利]一种提高GPU利用效率的算力池化系统

权利要求书

1.一种提高GPU利用效率的算力池化系统，其特征在于：包括最大指标检测模块、配额计算模块、算力运行指标检测模块和利用效率调度模块；其中，利用效率调度模块包括GPU资源按需申请单元、业务动态申请单元、碎片化使用单元、资源动态调度单元、运维异构配置单元和服务器合理配置单元；所述GPU资源按需申请单元是指通过资源池化来避免资源浪费，所述业务动态申请单元是指通过动态申请释放和自动根据调度算法来使用整个计算机的空闲GPU资源，所述碎片化使用单元主要解决实际场景中各种可能导致GPU无法被分配使用的问题；所述资源动态调度单元是指通过经过GPU资源池化来满足业务需求的前提下，扩大GPU的利用效率，所述运维异构配置单元主要解决传统的物理资源配比，提高计算机的运维效率和业务使用资源效率，所述服务器合理配置单元是指通过GPU资源池化来减少对基础设施的要求及成本。

2.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述最大指标检测模块，用于对计算机GPU算力进行自动检测，得到历史最大运行指标；所述配额计算模块，用于根据所述历史最大运行指标，自动确定计算机的GPU算力配额。

3.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述算力运行指标检测模块，用于检测计算机GPU算力在业务场景下的实时算力运行指标；所述利用效率调度模块，是指根据计算机GPU算力在业务场景下的实时运行指标，来自动调整计算机GPU利用效率的调度条件。

4.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述GPU资源按需申请单元，具体的是指在计算机执行很多业务的过程中，尤其是在线生产业务并不是要求算力越高越好，且在线业务的负载来自于网络，只要在满足设定的计算延迟目标即可，并不是越快越好，而业务对于显存的使用一般都不是正好把单个GPU的显存用满，单个业务独占GPU会有大量显存空闲，因此相对传统的单个业务来独占使用一个物理GPU，而经过资源池化之后，避免了计算机GPU的资源浪费。

5.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述业务动态申请单元，具体的是指目前大多数企业开发投入了大量的GPU资源，而开发人员对GPU的利用往往很不充分，在大量的时间里GPU都是处于闲置状态，而不同的运行模式中GPU资源会被独占地分配到一个运行环境中，即使不使用GPU，该GPU也不能被重新分配利用，从而造成GPU资源被闲置浪费，通过对GPU资源池化处理，来使闲置GPU支持动态进行申请释放，并自动根据调度算法来使用空闲GPU资源。

6.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述碎片化使用单元具体的是指在实际场景中会有各种可能导致GPU无法被分配使用的情况，有的业务需求大量的CPU资源、内存资源，会导致某个节点的CPU、内存首先成为瓶颈从而有剩余GPU无法使用；通过GPU资源池化来支持远程使用GPU，从而将剩余GPU资源提供给计算中心的其他业务使用，实现了将碎片化资源进行有效的利用。

7.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述资源动态调度单元，具体的是指传统的GPU管理分配模式下，GPU分配给不同的计算机器之后，就无法再干预应用程序对GPU资源的使用和访问，而经过GPU资源池化处理后，因应用程序对GPU的访问和使用会实时经过池化软件的控制路径和数据路径，配合池化软件的支持，从而实现了在满足业务需求的前提下，扩大GPU资源的利用空间。

8.根据权利要求1所述的一种提高GPU利用效率的算力池化系统，其特征在于：所述运维异构配置单元，具体的是指同一个计算机服务器的配置经常会不一样，而这些配置不同的计算机服务器极大提高了运维复杂性，也限制了业务对资源使用的有效性，固定配置的服务器与发展变化的业务是有天然的矛盾的，导致计算机服务器对于GPU资源的有效利用情况也不相同，通过资源池化的GPU资源池能够以整个数据中心作为一层分布式使用模式，可以打破这种物理资源配比，提高运维效率和业务使用资源效率。