[发明专利]在许多应用之间共享的图形处理单元

说明书

技术领域

本发明总地涉及计算应用，并且，更具体地，涉及在具有多核心的图形处理单元（GPU）上同时执行复数个计算应用。

背景技术

用于在复数个计算应用之间共享GPU上的可用硬件资源的当前方法要求计算应用与中央资源管理器通信。具体来讲，中央资源管理器从计算应用接收工作负载（workload）并将工作负载传送到GPU用于执行。反过来，GPU控制在计算应用之间的同步并许可GPU每次仅执行单个计算应用的线程。在同步操作期间这些线程可能变得无响应，这使软件开发者难以维持总体系统响应性和适当的负载均衡。此外，GPU被要求针对每一次转变到执行不同计算应用的执行线程中而执行上下文切换，这导致了GPU闲置时间。该问题被与计算应用相关联并且必须在上下文切换发生时被存储（并且随后重新加载）的典型性的大型状态集所加重。

因此，本领域中所需要的是用于在GPU上执行复数个计算应用的更有效的技术。

发明内容

本发明的一个实施例阐述用于在图形处理单元（GPU）上执行多个应用的计算机实现的方法。方法包括以下步骤：建立到第一应用的第一连接和到第二应用的第二连接，建立由第一应用和第二应用所共享的通用处理上下文，传送第一工作负载指针到分配给第一应用的第一队列，其中第一工作负载指针指向由第一应用所生成的第一工作负载，传送第二工作负载指针到分配给第二应用的第二队列，其中第二工作负载指针指向由第二应用所生成的第二工作负载，传送第一工作负载指针到GPU中的第一GPU队列，以及传送第二工作负载指针到GPU中的第二GPU队列，其中GPU配置为依据通用处理上下文执行第一工作负载和第二工作负载。

本发明的所公开的实施例的一个优点是其使得软件开发者能够选择复数个计算应用如何同时共享GPU。具体来讲，本发明的实施例使得多个计算应用和与其相关联的线程能够真正同时地由GPU所执行。计算应用中的每一个具有对由GPU驱动程序内的服务器所管理的通用处理上下文的访问权限，计算应用配置为与该GPU驱动程序通信。结果，上下文切换—其由常规GPU所实现以引起“同时”执行多应用的错觉—的数目可减少，这降低开销并提高GPU的总体性能。

附图说明

因此，可以详细地理解本发明的上述特征，并且可以参考实施例得到对如上面所简要概括的本发明更具体的描述，其中一些实施例在附图中示出。然而，应当注意的是，附图仅示出了本发明的典型实施例，因此不应被认为是对其范围的限制，本发明可以具有其他等效的实施例。

图1是示出配置为实现本发明的一个或多个方面的计算机系统的框图；

图2是根据本发明的一个实施例的、用于图1的计算机系统的并行处理子系统的框图；

图3A是根据本发明的一个实施例的、图2的前端的框图；

图3B是根据本发明的一个实施例的、图2的并行处理单元之一内的通用处理集群的框图；

图3C是根据本发明的一个实施例的、图3B的流多处理器的一部分的框图；以及

图4示出根据本发明的一个实施例的、详细说明在多个计算应用、设备驱动程序和并行处理子系统之间的通信路径和交互的框图。

图5A和5B示出根据本发明的实施例所配置的、在常规设备驱动程序和设备驱动程序之间的性能比较。

图6示出根据本发明的一个实施例的、用于建立用户模式驱动程序和设备驱动程序之间的通信的方法。

图7示出根据本发明的一个实施例的、用于在配置为从复数个用户模式驱动程序接收工作请求的设备驱动程序内建立服务器的方法。

图8示出根据本发明的一个实施例的、用于将由复数个用户模式驱动程序所生成的工作请求发出到并行处理子系统的方法。

具体实施方式

在下面的描述中，将阐述大量的具体细节以提供对本发明更透彻的理解。然而，本领域的技术人员应该清楚，本发明可以在没有一个或多个这些具体细节的情况下得以实施。

系统概述