[发明专利]管理处理系统效率

说明书

方法、系统和存储指令的计算机存储介质，用于获取将处理系统中的多个通用处理单元划分为高优先级域和低优先级域的数据，其中，高优先级域中的通用处理单元被分配为执行包括一个或多个高优先级任务的一个或多个任务，低优先级域中的通用处理单元被分配为执行一个或多个低优先级任务；在处理系统运行时，获取表征高优先级域和低优先级域对系统存储器的使用的存储器使用率度量；并且基于存储器使用率度量，调整(i)高优先级域，(ii)低优先级域，或(iii)两者的配置，以调整通用处理单元对系统存储器的使用。

相关申请的交叉引用

本申请要求于2017年11月21日提交的标题为“管理处理系统效率”的美国专利申请No.62/589,535的优先权，其全部内容通过引用合并于此。

背景技术

本说明书涉及提高加速的资源密集型计算效率。

与例如传统的中央处理单元(Central Processing Unit，CPU)的通用处理器相比，诸如图形处理单元(GPU)或张量处理单元(TPU)的硬件加速器具有更大的计算能力。结果，加速器已开始推动关键工作负载的性能改善。例如，加速器广泛用于机器学习训练和推理任务。

发明内容

本说明书描述了一种系统，该系统被实现为在一个或多个位置的一个或多个计算机上的计算机程序，该系统管理包括多个通用处理单元的处理系统的效率。

该系统将多个通用处理单元(例如，CPU核)划分为高优先级和低优先级域。高优先级域中的通用处理单元被分配为执行包括一个或多个高优先级任务的一个或多个任务，并且低优先级域中的通用处理单元被分配为执行包括一个或多个低优先级任务的一个或多个任务。通常，不分配低优先级域中的处理单元执行任何高优先级任务。此外，处理系统通常还包括一个或多个硬件加速器，这些硬件加速器被分配了资源密集型工作负载，例如机器学习工作负载，并且高优先级任务是与该资源密集型工作负载相关联的任务，即支持分配给硬件加速器的工作负载的任务。

在处理系统运行时，系统会获取使用率度量，这些度量表征高优先级域和低优先级域对系统存储器的使用。基于存储器使用率度量，系统调整(i)高优先级域，(ii)低优先级域或，或者(iii)两者的配置，以调整通用处理单元对系统存储器的利用。

系统可以重复获取使用率度量并在运行时调整配置，以提高处理系统的效率。

可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。尽管在资源密集型计算中，硬件加速器负责最繁重的计算任务，但通用处理器(例如CPU)通常执行各种支持角色。例如，在大规模的分布式机器学习系统中，CPU可以执行收集和同步机器学习模型参数的支持角色。但是，CPU的支持角色可能会通过与加速器竞争共享资源(诸如系统存储器)，而降低系统性能。所描述的技术将多个通用处理单元划分为高优先级和低优先级域，每个子域内的存储器请求由相应的存储器控制器处理，并且享有较低的存储器延迟和高速缓存延迟。此外，通过用低优先级CPU任务填充高优先级域，可以重新获得由于域分割的分裂而导致的吞吐量损失。此外，通过在运行时比较性能计数器的度量，系统可以选择增强、节制或保持资源配置，以减少高优先级和低优先级域内以及高优先级和低优先级域之间的资源争用。

在下面的附图和描述中阐述了本说明书的主题的一个或多个实施例的细节。根据说明书、附图和权利要求书，本主题的其他特征、方面和优点将变得显而易见。

附图说明

图1是被设计为管理资源密集型计算的示例处理系统的图。

图2是用于管理多个处理单元上的资源的示例处理的流程图。

图3是用于配置多个处理单元上的资源的示例软件逻辑的流程图。

现在将参考附图详细描述本发明的特定实施例。为了一致性，各个附图中的相似元件由相似的附图标记表示。

具体实施例