[发明专利]原生张量处理器及张量缩并的分割

说明书

原生张量处理器使用外积之和计算张量缩并。在一种实现中，原生张量处理器优选地被实现为单一集成电路，并且包括输入缓冲器和缩并引擎。输入缓冲器缓冲从片外检索的张量元素，并根据需要将元素传输到缩并引擎。缩并引擎通过执行来自等价矩阵乘法的计算来计算张量缩并，就好像张量被展开成矩阵一样，但避免了明确展开张量的开销。缩并引擎包括多个外积单元，多个外积单元通过外积之和计算矩阵乘法。通过使用外积，等价矩阵乘法可以被分割成更小的矩阵乘法，这些更小的矩阵乘法在所需的局部张量间进行。

相关申请的交叉引用

本申请是2017年5月11日提交的、序列号No.15/593192、题为“Native TensorProcessor,Using Outer Product Unit”的美国专利申请的继续申请。前述申请的主题通过引用整体并入本文。

技术领域

本公开大致涉及张量处理，包括张量缩并。

背景技术

随着技术的进步，每天都有越来越多的数据被创建和分析。机器学习技术(例如深度学习和卷积神经网络)，作为分析这些大量数据的重要方法，正变得日益重要。然而，这种大型任务的计算性能已越来越受将数据移动到正确的处理元素以进行计算的成本的支配。

传统的并行处理器已经努力处理这些数据量和其导致的数据移动模式。在许多传统的并行处理架构中，包括典型的GPU架构，计算单元被布置为一维阵列到三维网格。然而，计算单元通常必须自己从存储器中检索数据。因此，使用了例如寄存器文件、缓冲和暂存器(scratch memory)技术，来减少存储器延迟。然而，这需要在集成电路上增加更多电路，还需要更多能量来为电路供电。

可编程数据流机器是一种替代方法。然而，细粒度数据项之间的一般依赖关系通常导致了复杂性和低效率。

空间数据流机器(例如脉动阵列)是另一种替代方法，其中处理元素被排列为网格拓扑，并且可以仅与其所相邻的处理元素通信。然而，这导致了延迟并且处理元素的数目难以成规模。

定制的集成电路可以被设计成对于其预期应用是有效的。然而，建立定制的集成电路是昂贵的，并且一旦建立了，如果应用的需求发生变化，那么建立更新的版本也是昂贵的。随着技术的进步，定制的硬件也可能很快变得过时。

因此，需要更好的张量处理方法。

发明内容

通过提供使用外积之和来计算张量缩并的原生张量处理器，本发明克服了现有技术的限制。

在一个实现中，原生张量处理器优选地被实现为单一集成电路，并且包括输入缓冲器和缩并引擎。输入缓冲器对从片外检索的张量元素进行缓冲，并根据需要将元素传输到缩并引擎。输入缓冲器可以是双缓冲器，使得除了将元素馈送到缩并引擎之外，还可以对从片外检索张量元素进行优化。缩并引擎通过执行来自等价矩阵相乘的计算来计算张量缩并，就好像张量被展开成矩阵一样，但避免了明确展开张量的开销。缩并引擎包括计算外积的多个外积单元。缩并引擎将外积求和以形成矩阵相乘的最终积。

通过使用外积，等价的矩阵相乘可以被分割成更小的矩阵乘法，每个更小的矩阵相乘在所需的局部张量元素之间进行。

由于外积的结构，分割是可扩展的。缩并引擎通常具有层级结构，该层级结构通过一系列分配层将整个矩阵向下分割成多个原子外积(分散和/或广播)，然后在计算后通过相应的收集层(聚集和/或减少)反转该过程。缩并引擎的硬件容量可以通过向上扩展层级(包括更高级别的分配层)来扩展，以建立越来越大的缩并引擎。缩并引擎优选地是可重新配置的，使得这些层可被改变，以实现针对不同大小的张量的处理。

原子外积优选地是外积α×β，其中α是ι×1列向量，β是行向量，并且计算这些原子外积的处理元素优选地也沿着缩并指数对外积α×β进行累加。