[发明专利]学习和卸载存储器访问和计算的常见模式的技术

说明书

本公开涉及学习和卸载存储器访问和计算的常见模式的技术。系统、设备和方法可提供如下技术，该技术经由神经网络基于机器指令的输入集合辨识存储器访问和计算指令的模式，经由神经网络基于所辨识的存储器访问和计算指令的模式确定要被卸载来由辅计算装置执行的指令的序列，并且把要被卸载的指令的序列从可由中央处理单元(CPU)执行的指令转化成可由辅计算装置执行的指令。

技术领域

实施例概括而言涉及用于计算系统的技术。更具体而言，实施例涉及自动路由存储器访问和计算操作来由辅计算装置执行的技术。

背景技术

传统的存储器架构假定大多数程序将在短时间段中重复地访问同一组存储器。也就是说，它们遵循空间和时间局部性的规则。然而，图表分析、机器学习和人工智能(artificial intelligence，AI)中的许多应用展现出不遵循空间和时间局部性的传统规则的不规律存储器访问模式。不规律存储器访问模式被传统的CPU和GPU架构不良应对，导致在执行存储器操作时的不可预测的延迟。这种情况的一个原因是不规律的存储器访问要求在CPU和片外存储器存储之间的反复数据移动。

在CPU核心和片外存储器之间移动数据比CPU核心内部的浮点操作招致大约高100倍的能量。传统上，以计算为中心的冯·诺依曼(von-Neumann)架构正越来越多地受到存储器带宽和能量消耗的约束。被称为存储器内计算(in-memory compute，IMC)或者近存储器计算(compute near memory，CNM)装置的硬件装置将计算力放置在存储器阵列本身内或者存储器阵列本身附近。这些装置可消除或者大幅减少执行程序所要求的数据移动。

在没有广泛的标准来指明如何将IMC或CNM装置嵌入在计算系统中的同时，大多数当前方案要求用户将期望的计算内核手动映射到IMC或CNM存储器阵列。这个方案是相当不灵活的，使得难以针对多种不同的应用来配置这些装置。此外，因为这个方案依赖于应用的静态编译，所以它们不能适应于真实世界应用执行的动态方面(例如，动态资源使用、工作负载特性、存储器访问模式，等等)。

发明内容

根据本公开的一方面，提供了一种计算系统。该计算系统包括：辅计算装置；以及耦合到辅计算装置的设备，设备包括一个或多个衬底和耦合到一个或多个衬底的逻辑，其中逻辑至少部分地以可配置逻辑或者固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：经由神经网络基于机器指令的输入集合来辨识存储器访问和计算指令的模式；经由神经网络基于所辨识的存储器访问和计算指令的模式，来确定要被卸载来由辅计算装置执行的指令的序列；并且把要被卸载的指令的序列从可由中央处理单元CPU执行的指令转化成可由辅计算装置执行的指令。

根据本公开的另一方面，提供了一种半导体设备。该半导体设备包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中逻辑至少部分地以可配置逻辑或者固定功能硬件逻辑中的一者或多者来实现，耦合到一个或多个衬底的逻辑用于：经由神经网络基于机器指令的输入集合来辨识存储器访问和计算指令的模式；经由神经网络基于所辨识的存储器访问和计算指令的模式，来确定要被卸载来由辅计算装置执行的指令的序列；并且把要被卸载的指令的序列从可由中央处理单元CPU执行的指令转化成可由辅计算装置执行的指令。

根据本公开的另一方面，提供了一种非暂态计算机可读介质。该非暂态计算机可读介质包括第一指令的集合，第一指令当被计算系统执行时，使得计算系统：经由神经网络基于机器指令的输入集合来辨识存储器访问和计算指令的模式；经由神经网络基于所辨识的存储器访问和计算指令的模式来确定要被卸载来由辅计算装置执行的指令的序列；并且把要被卸载的指令的序列从可由中央处理单元CPU执行的指令转化成可由辅计算装置执行的指令。

根据本公开的另一方面，提供了一种将指令卸载来供执行的方法。该方法包括：经由神经网络基于机器指令的输入集合来辨识存储器访问和计算指令的模式；经由神经网络基于所辨识的存储器访问和计算指令的模式，来确定要被卸载来由辅计算装置执行的指令的序列；并且把要被卸载的指令的序列从可由中央处理单元CPU执行的指令转化成可由辅计算装置执行的指令。