[发明专利]用于存储器内计算的可缩放阵列架构

说明书

各种实施例包括系统、方法、架构、机制和设备，用于经由通过可配置芯片上网络互连的可配置存储器内计算(IMC)核心的阵列提供可编程或预编程的IMC操作来支持映射到其上的应用的可缩放执行和数据流。

政府支持

本发明是在政府支持下在美国国防部授予的合约号NRO000-19-C-0014下作出的。政府拥有本发明的某些权利。

相关申请的交叉参考

本申请要求2020年2月5日提交的第62/970,309号美国临时专利申请的权益，该申请以全文引用的方式并入本文中。

技术领域

本公开大体上涉及存储器内计算和矩阵-向量相乘的领域。

背景技术

本章节旨在向读者介绍可与下文描述和/或要求保护的本发明的各个方面相关的技术的各个方面。此论述被认为有助于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应理解，这些陈述应鉴于此来阅读，而不是作为对现有技术的认可。

基于神经网络(NN)的深度学习推断部署在各种各样的应用中。此由认知任务的突破性表现促动。然而，其导致NN的复杂性(层、通道的数目)和变异性(网络架构、内部变量/表示)增加，从而迫使需要经由可灵活编程的架构进行硬件加速来实现能量效率和处理量。

NN中的主导操作为矩阵-向量相乘(MVM)，通常涉及高维度矩阵。这使架构中的数据存储和移动成为主要挑战。然而，MVM还产生结构化数据流，从而促使其中相应地显式地布置硬件的加速器架构成为二维阵列。此些架构称为空间架构，常常采用脉动阵列，其中处理引擎(PE)执行简单的运算(乘法、加法)且将输出传递到邻近的PE以供进一步处理。已经报告基于映射MVM计算和数据流以及为不同计算优化(例如，稀疏性、模型压缩)提供支持的不同方式的许多变型。

最近获得关注的替代性架构方法为存储器内计算(IMC)。IMC也可视为空间架构，但其中PE为存储器位单元。IMC通常采用模拟运算，以适配受约束位单元电路中的计算功能性(即，为了面积效率)以及以最大能量效率执行计算。基于IMC的NN加速器的新近论证已经同时实现比经优化数字加速器大致高10×的能量效率(TOPS/W)和高10×的计算密度(TOPS/mm2)。

虽然此些增益使IMC具有吸引力，但新近论证还暴露了主要由模拟非理想因素(变化、非线性)引起的若干重要挑战。第一，大多数论证限于小规模(小于128Kb)。第二，未论证先进CMOS节点的使用，其中模拟非理想因素预期恶化。第三，归因于指定此模拟运算的函数抽象化的难度，较大计算系统(架构和软件堆栈)中的集成受到限制。

已经开始一些新近工作来探索系统集成。举例来说，开发ISA并提供到领域特定语言的界面；然而，应用映射局限于小推断模型和硬件架构(单个存储体)。同时，开发IMC操作的功能规范；然而，为了支持具有减小的并行性的IMC的数字形式而避免了许多行上的高度并行IMC所必需的模拟运算。因此，模拟非理想因素很大程度上阻止了IMC在切实可行的NN的按比例放大的架构中利用的全部可能性。

发明内容

通过系统、方法、架构、机制或设备来解决现有技术中的各种缺陷，所述系统、方法、架构、机制或设备实现经由通过可配置芯片上网络互连的可配置IMC核心的阵列提供可编程或预编程存储器内计算(IMC)操作以支持映射到其上的应用的可缩放执行和数据流。

举例来说，各种实施例提供一种集成式存储器内计算(IMC)架构，其可配置以支持映射到其上的应用的可缩放执行和数据流，所述IMC架构实施于半导体衬底上且包括例如存储器内计算单元(CIMU)等可配置IMC核心的阵列，包括IMC硬件和任选地例如数字计算硬件、缓冲器、控制块、配置寄存器、数/模转换器(DAC)、模/数转换器(ADC)等其它硬件，如在下文将更详细地描述。