[发明专利]三维堆叠神经网络加速器的产出改进

说明书

公开了用于三维堆叠神经网络加速器的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括：获取指定三维堆叠神经网络加速器中的多个组块中的组块为故障组块的数据。三维堆叠神经网络加速器包括多个神经网络管芯，每个神经网络管芯包括各自的多个组块，每个组块具有输入和输出连接。三维堆叠神经网络加速器被配置为通过以下方式处理输入：根据数据流配置将输入路由通过多个组块中的每个组块，以及修改数据流配置，以便将数据流配置中在故障组块之前的组块的输出路由到位于与故障组块不同的神经网络管芯上的、故障组块之上或之下的组块的输入连接。

相关申请的交叉引用

本申请要求于2017年8月24日提交的美国申请序列号15/685,672的优先权，其内容通过引用整体结合于此。

背景技术

本说明书一般涉及三维堆叠神经网络加速器。

神经网络是机器学习模型，其采用一层或多层非线性单元来预测针对接收到的输入的输出。一些神经网络除输出层外还包括一个或多个隐藏层。每个隐藏层的输出用作网络中下一个层的输入，即下一个隐藏层或输出层。网络的每一层根据各自的一组参数的当前值从接收的输入中生成输出。

典型地，神经网络处理系统使用通用图形处理单元、现场可编程门阵列、专用集成电路以及类似的其它硬件来实现神经网络。

发明内容

通常，本说明书中描述的主题的一个创新方面可以具体体现在以下方法中，该方法包括以下动作：获取指定三维堆叠神经网络加速器中的多个组块(tile)中的组块为故障组块的数据。三维堆叠神经网络加速器包括堆叠在彼此之上的多个神经网络管芯(die)，每个神经网络管芯包括各自的多个组块，每个组块具有输入和输出连接，这些输入和输出连接将数据路由进入组块和离开组块。三维堆叠神经网络加速器被配置为通过以下方式处理输入：根据数据流配置将输入路由通过多个组块中的每个组块，以及修改数据流配置，以便将数据流配置中在故障组块之前的组块的输出路由到位于与故障组块不同的神经网络管芯上的、故障组块之上或之下的组块的输入连接。

这个方面的其它实施例包括相应的系统、装置和被配置为执行方法的动作、编码在计算机存储设备上的计算机程序。

神经网络加速器能够用来加速神经网络的计算，即，使用神经网络处理输入以生成输出，或者训练神经网络以调整神经网络的参数值。三维堆叠神经网络加速器可以以与相邻管芯通信地垂直耦合的垂直互连接来构建。三维堆叠神经网络加速器与传统的神经网络加速器相比，制造更加便宜而且更加紧凑。然而，用于制造三维堆叠神经网络加速器的传统机制使得不可能仅使用起作用的(functional)管芯来制造给定的三维神经网络加速器，即，在没有一个或多个管芯发生故障的情况下进行制造。

本说明书中描述的主题的特定实施方式可以被实施，以实现以下一个或多个优点。对于三维堆叠神经网络加速器，堆叠在彼此之上的计算组块越多，则整个堆栈(stack)是有故障的可能性就越高。发生这种情况的原因是，如果一个计算组块是有故障的，则这可能会使整个三维堆叠神经网络加速器不能操作，从而导致可操作的三维堆叠神经网络加速器的潜在产出(yield)不佳。但是，修改三维堆叠神经网络加速器的数据流配置会增加三维堆叠神经网络加速器的功能性。例如，修改数据流配置允许即使一个或多个计算组块是有故障的，三维堆叠神经网络加速器仍然可用。

试图使用有故障的组块将使整个三维堆叠神经网络加速器无用。因此，有故障的组块被绕过以确保三维堆叠神经网络加速器其余部分的功能性。修改三维堆叠神经网络加速器的数据流配置包括将给定计算组块的输出改变到在给定计算组块之上或之下的管芯上的计算组块的输入。因此，能够实现在整个三维堆叠神经网络加速器中更加模块化(modular)的数据流。另外，修改数据流配置将提高可操作的三维堆叠神经网络加速器的产出，因为有一个或多个有故障的计算组块不会使整个加速器不能操作。三维堆叠神经网络加速器的产出随着总芯片面积增加而减少。修改数据流配置以包括在垂直相邻的管芯之间传输数据，提高了三维堆叠神经网络加速器的产出。