[发明专利]一种虚拟域内基于多显卡的分片虚拟化负载均衡调度

说明书

本发明属于虚拟化领域，涉及一种虚拟域内基于多显卡的分片虚拟化负载均衡调度。本发明的方法包括：对主机上的多张显卡进行分片；新增特定于vGPU的命令链表；对vGPU的负载情况进行监控并实时调整权重。该方法提升了mdev的可扩展性，优化了mdev对vGPU命令的吞吐量，维护了vGPU之间的负载均衡。

技术领域

本发明属于虚拟化领域，涉及一种虚拟域内基于多显卡的分片虚拟化负载均衡调度

背景技术

GPU(图形处理器单元)主要用于2D、3D图形渲染以及高性能并行运算，其浮点运算和并行运算速度可以比CPU强上百倍之多，使用GPU虚拟化技术之后，可以让运行在数据中心服务器上的虚拟机实例共享一块或多块GPU处理器进行图形运算，大大增加了桌面访问方式的安全与高效性。

目前，几种经典的虚拟化技术如设备模拟、API转发、GPU直通等，虽然在一定程度上解决了人们对于GPU虚拟化的需求，但这些解决方案依旧不能平衡好性能、功能和共享能力，在实现完整的GPU虚拟化上仍然存在挑战。设备模拟实现过于复杂且性能低，API转发不能很好的实现全特性支持，GPU直通在性能与功能上均取得了非常好的效果，但是不支持共享。有鉴于此，Intel在《A Full GPU Virtualization Solution with MediatedPass-Through》一文中提出了一种基于中介透传的GPU分片虚拟化方案gVirt，其通过透传vGPU对性能相关资源的访问、拦截并模拟vGPU对特权相关资源的访问，有效的提高了vGPU的性能与共享性，且实现了GPU全特性支持。

然而，上述方法仍存在一些不可忽略的缺陷：第一，由于没有考虑单节点多GPU的情况，其只能对主机上的一块GPU进行分片，因此无法充分利用多个GPU的计算资源来让一台主机支持更多需求vGPU的虚拟机，进而提高了主机硬件的购买成本；第二，当前大部分GPU均为非抢占式工作制，因此被调度到的vGPU需要等上一个vGPU命令全部跑完才能开始向pGPU提交命令，而vGPU在一个时间片内所提交命令的完成时间有可能超出时间片，继而对下一个vGPU造成等待开销，为了迁就GPU的非抢占式工作制度，gVirt实现了一个粗粒度的调度策略，即大概判断vGPU提交的命令能否在一个时间片内运行完，若gVirt判断已提交命令的完成时间接近时间片，则该vGPU即使还有剩余时间片也不会再提交命令，进而限制了分片虚拟化框架对GPU命令的吞吐量；第三，由于没有考虑到虚拟机的负载也会产生变化，而vGPU的权重在创建之初就已被指定且不可更改，因此存在vGPU空转大部分时间片的可能，这增加了负载均衡的时间开销。

发明内容

为提升分片虚拟化框架的可扩展性，本发明提供了一种虚拟域内基于多显卡的分片虚拟化负载均衡调度。本方法不仅支持对多显卡进行分片，有效降低主机硬件购买成本，提升对多GPU计算资源的利用，分片流程图如图1所示，而且通过新增命令链表避免vGPU将命令直接提交给pGPU，vGPU在一个时间片内可以不受限的将命令提交至命令链表，提升了分片虚拟化框架对GPU命令的吞吐量，本发明还具备负载感知特性，依据负载情况动态调整vGPU权重，优化了vGPU之间的负载均衡，vGPU权重重分配如图2所示。本发明所述方法包括以下主要步骤：

1.硬件检索阶段

首先，每台主机的PCI-e总线都会挂载多个设备，在对pGPU进行分片之前需要区分并收集pGPU信息，以此作为vGPU与pGPU对应的依据。收集的pGPU信息包括：BDF(设备标志符)、配置空间信息、固件信息。BDF用于对应vGPU与pGPU，配置空间信息用于从所有的PCIE设备中筛选出GPU以及记录GPU的IO空间，固件信息用于记录GPU支持的分辨率。

其次，作为被切分出来的虚拟设备，vGPU依旧属于PCI设备范畴，但其不能被直接挂载于物理PCI-e总线上，因此需要为每个pGPU创建一条虚拟总线，该虚拟总线用于挂载vGPU，不同pGPU对应的虚拟总线号(B)不同，同一虚拟总线中vGPU对应的设备号(D)不同，由此做到vGPU与pGPU的对应以及vGPU之间的区分。