[发明专利]基于存储器的分布式处理器架构

说明书

本公开包括分布式处理器及用于编译器代码以供分布式处理器执行的方法。在一个实施方式中，分布式处理器可包括：基板；安置于该基板上的存储器阵列；及安置于该基板上的处理阵列。该存储器阵列可包括多个离散存储器组，且该处理阵列可包括多个处理器子单元，处理器子单元中的每一个与该多个离散存储器组中的一对应的专属存储器组相关联。该分布式处理器可进一步包括：第一多个总线，每一总线将该多个处理器子单元中的一个连接至其对应的专属存储器组；及第二多个总线，每一总线将该多个处理器子单元中的一个连接至该多个处理器子单元中的另一个。

相关申请的交叉引用

本申请主张以下申请的优先权权利：2017年7月30日提交的美国临时专利申请第62/538,722号、2017年7月30提交的美国临时专利申请第62/538,724号及2017年8月23日提交的美国临时专利申请第62/548,990号。所有前述申请以全文引用的方式并入本文中。

技术领域

本公开总体上涉及用于促进存储器密集型操作的设备。更具体地，本公开涉及包括耦接至专属存储器组(bank)的处理元件的硬件芯片。

背景技术

随着处理器速度及存储器大小均继续增大，有效处理速度的明显局限性是冯诺依曼(von Neumann)瓶颈。冯诺依曼瓶颈由产生于传统计算机架构的吞吐量限制造成。具体地，与由处理器进行的实际计算相比，自存储器至处理器的数据传送常常成为瓶颈。因此，用以自存储器读取及写入的时钟周期的数目由于存储器密集型处理而显著增大。这些时钟周期导致较低的有效处理速度，因为自存储器的读取及写入消耗了不能用于对数据执行操作的时钟周期。此外，处理器的计算带宽通常大于处理器用于存取存储器的总线的带宽。

这些瓶颈对于以下特别地显著：存储器密集型程序，诸如神经网络及其他机器学习算法；数据库建构、索引搜寻及查询；及与数据处理操作相比包括更多读取及写入操作的其他任务。

另外，可用数字数据的量及粒度的快速增长已产生开发机器学习算法的机会且已实现新技术。然而，这也为数据库及并行计算的世界带来棘手的挑战。例如，社交媒体及物联网(IoT)的出现以记录速率产生数字数据。此新数据可用以建立用于多种用途的算法，范围为新广告技术至工业处理的更精确控制方法。然而，该新数据难以储存、处理、分析及处置。

新数据资源可以为大规模的，有时为大约拍(peta)字节至泽(zetta)字节。此外，这些数据资源的生长速率可超过数据处理能力。因此，数据科学家已致力于并行数据处理技术，以应对这些挑战。在努力提高计算能力且处置大量数据的过程中，科学家已尝试建立能够进行并行密集型计算的系统及方法。但这些现有系统及方法跟不上数据处理要求，常常因为所使用的技术受这些技术对用于数据管理、整合分隔数据及分析分段数据的额外资源的需求限制。

为了促进对巨大数据集的操控，工程师及科学家现在设法改善用以分析数据的硬件。例如，可通过在以更适合存储器操作而非算术计算的技术制造的单一基板中并入存储器及处理功能，来特别针对数据密集型任务来设计新的半导体处理器或芯片(诸如本文中所描述的半导体处理器或芯片)。利用特别针对数据密集型任务设计的集成电路，能够满足新的数据处理要求。尽管如此，这种应对巨大数据集的数据处理的新方法需要解决芯片设计及制造中的新问题。例如，若针对数据密集型任务设计的新芯片是利用用于普通芯片的制造技术及架构制造的，则新芯片会具有差效能和/或不可接受的良率。另外，若新芯片被设计为利用当前数据处置方法进行操作，则新芯片会具有差效能，因为当前方法可限制芯片处置并行操作的能力。

本公开描述用于减少或克服上文所阐述的问题中的一个或多个以及背景技术中的其他问题的解决方案。

发明内容