[发明专利]用于提供可伸缩架构来用于在存储器中执行计算操作的技术

说明书

本发明提供了用于提供可伸缩架构来用于在存储器中执行计算操作的技术。用于提供可伸缩架构来在存储器中高效地执行计算操作的技术包括存储器，所述存储器具有被耦合到存储器介质的介质访问电路。所述介质访问电路将：从存储器介质访问数据以执行所请求的操作，利用被包括在介质访问电路中的多个计算逻辑单元中的每一个来在所访问的数据上同时执行所请求的操作，以及向存储器介质写入从所请求的操作的执行所产生的结果得到的数据。

技术领域

本发明涉及用于提供可伸缩架构来用于在存储器中执行计算操作的技术。

背景技术

人工智能应用、诸如训练神经网络和/或利用神经网络来做出推断（例如标识图像中的对象、执行语音识别等等）的应用典型地利用相对大量的计算能力来在矩阵数据上执行张量操作（例如矩阵计算、诸如矩阵乘法）。在一些计算设备中，用于支持人工智能应用的计算操作可以从通用处理器被卸载到加速器设备、诸如图形处理单元（GPU）。然而，虽然GPU可以能够比处理器更快速地执行张量操作，但是计算设备能够用来执行操作的效率（例如能量使用和速度）仍受以下事实阻碍：即待操作的数据（例如矩阵数据）驻留在存储器中并且通过总线从存储器被发送到执行计算操作的设备（例如GPU），这消耗时间和能量。随着待操作的数据的复杂度和量增大（例如随着越来越复杂的人工智能应用），现有系统在能量使用和速度方面的低效可对应地增大。

附图说明

在附图中作为示例而不是作为限制地图示了本文中描述的概念。为了图示的简单和清楚，各图中所图示的元素不一定是按比例绘制的。在被视为适当的情况下，已在各图之中重复了参考标记以指示对应或类似的元素。

图1是具有可伸缩架构来在存储器中高效地执行计算操作的计算设备的至少一个实施例的简化图；

图2是被包括在图1的计算设备中的存储器介质的至少一个实施例的简化图；

图3是被包括在图1的计算设备中的存储器的存储器介质的分区和介质访问电路的组件的至少一个实施例的简化图；

图4是可以被包括在图1的计算设备中的双列直插式存储器模块的集合的至少一个实施例的简化图；

图5是可以在图1的计算设备的存储器中被执行的张量操作的至少一个实施例的简化图；

图6-8是可以由图1的计算设备来执行的、用于在存储器中执行高效的计算操作的方法的至少一个实施例的简化图；并且

图9是来自被组合到封装中的图1的计算设备的存储器的两个管芯的简化图。

具体实施方式

虽然本公开内容的概念易有各种修改和可替换形式，但是其特定实施例已经作为示例在附图中被示出并且将在本文中被详细描述。然而，应当理解的是，没有意图将本公开内容的概念限制到所公开的特定形式，而是相反地，意图是要覆盖与本公开内容以及所附权利要求一致的所有修改、等同物和可替换方案。

说明书中对“一个实施例”、“实施例”、“说明性实施例”等等的提及指示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以或可以不一定包括该特定的特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述了特定的特征、结构或特性的时候，所主张的是无论是否被明确地描述，结合其它实施例来产生这样的特征、结构或特性在本领域技术人员的知识范围内。另外，应当领会到，在以“至少一个A、B、和C”的形式的列表中所包括的项可以意指（A）；（B）；（C）；（A和B）；（A和C）；（B和C）；或（A、B和C）。类似地，以“A、B、或C中至少一个”的形式所列举的项可以意指（A）；（B）；（C）；（A和B）；（A和C）；（B和C）；或（A、B和C）。