[发明专利]并行处理设备和进行并行多值归约的方法

说明书

方法，系统和装置，包括在计算机存储介质上编码的计算机程序，用于使用并行处理设备计算多值归约。该方法之一包括通过并行处理设备的并行处理单元执行并行M值归约。串行的进行多个初始归约，每个初始归约对至少M个寄存器空间的不同的相应寄存器空间中的数据进行操作。从M个寄存器空间移动数据，以使来自多个初始归约的所有结果都在相同的第一寄存器空间中。并行地进行一个或多个后续的归约，以计算M个最终值，每个后续的归约仅对所述第一寄存器空间中的数据进行操作。

相关申请的交叉引用

本申请要求2017年12月12日提交的美国专利申请No.15/839,637的优先权，其全部内容通过引用合并于此。

背景技术

本说明书涉及使用并行处理硬件来高效并行计算多值归约的技术。

归约是将多个值组合为一个值的操作。例如，可以通过计算8个值的单个总和来进行 8个值的归约。归约操作通常由并行处理设备(例如图形处理单元(GPU))进行，以便组合由并行处理设备的多个独立处理单元执行的多个线程所计算的数据。

在本说明书中描述的示例通常将涉及独立处理单元是具有多个处理核的流式多处理器(SM)，而并行处理设备是图形处理单元(GPU)。但是，相同的技术也可以在使用多个独立处理单元来实施真正的线程并行化的其他硬件设备上实施。这样的设备通常包括单指令、多数据(SIMD)处理器，张量处理单元(TPU)或其他专用集成电路。另外，在示例提及使用GPU的地方，这不一定意味着正在处理或产生图形数据。

在这样的并行处理设备上，可以通过程序抽象来提供对线程并行化的控制，这些程序抽象定义了如何分配线程以由多个独立的处理单元执行。为了表示清楚起见，本说明书使用通用GPU程序抽象的术语，但是控制如何在独立处理单元上调度线程的等效程序抽象可以用于非GPU的其他系统。

线程块，或简称为块，是由单个SM执行的一组线程。块中的线程可以通过使用SM的共享内存来进行协调。因此，一个块中的线程之间的通信通常比与其他块中的线程的通信快几个数量级。

线程束(warp)是块内的一组线程，在某些情况下代表GPU的最小可分配计算单元。线程束内的线程通常可以从分配给同一线程束内其他线程的寄存器中读取。线程束中的线程通常还按步执行指令。因此，线程束中的线程可以例如同时从寄存器位置获取数据。仅举几个例子，常见的线程束大小是16、32或64个线程。

并行处理设备的并行处理能力允许通过以指数级增加或减少的步骤或跳过读取数据来将单值归于作为一系列聚合操作来进行。例如，如果一个线程束有8个线程，则每个线程可以从其邻居处一步求和，然后再进行两步，然后再进行4步。在此过程结束时，其中一个线程将对原始数据中的所有值求和。

但是，进行多值归约通常需要多个单值归约的串行进行。在许多需要极高吞吐量要求的实际应用中，此限制是处理瓶颈。例如，由于原始音频生成的基本高吞吐量性质，对原始音频波形进行建模的音频生成神经网络提出了重大的计算难题。现实的原始音频生成通常需要每秒生成数千个音频样本，例如，每秒24,000个样本。在这种高吞吐量应用中，任何并行处理速度的提高都是至关重要的。

发明内容

本说明书描述了系统如何使用并行处理硬件来并行计算多值归约。即，假设要减少存储数据的M个寄存器空间，系统可以计算M个最终减少的值。在本说明书中，“寄存器空间”是一组对应的寄存器，每个寄存器属于一个不同的处理单元，并且在由线程并行执行时，可以由相同的指令同时访问所有这些寄存器。

可以实施本说明书中描述的主题的特定实施例，以实现以下优点中的一个或多个。并行处理设备可以更快地计算多值归约。并行处理设备可以通过使用同一寄存器空间的多个寄存器分区来充分利用并行处理能力，从而可以并行计算M个最终值中的至少一些。

本说明书的主题的一个或多个实施例的细节在附图和以下描述中阐述。根据说明书，附图和权利要求书，本主题的其他特征，方面和优点将变得显而易见。