[发明专利]用于实施智能处理计算架构的系统和方法

说明书

一种用于集成电路内的自动化数据传播和自动化数据处理的系统和方法包括智能处理集成电路，该智能处理集成电路包含至少一个智能处理流水线，其中该至少一个智能处理流水线包括：主数据缓冲器，存储输入数据；多个不同的智能处理片，其中每个不同的智能处理片包括计算电路和本地数据缓冲器；基于令牌的治理模块，该基于令牌的治理模块实施：第一基于令牌的控制数据结构；第二基于令牌的控制数据结构，其中第一基于令牌的控制数据结构和第二基于令牌的控制数据协同操作，以通过该至少一个智能处理流水线控制自动化的输入数据流和/或输入数据的自动化处理。

相关申请的交叉引用

本申请主张2018年7月5日提交的美国临时申请第62/694,355号的权益，该美国临时申请全文通过本引用并入。

技术领域

本文描述的本发明总体上涉及集成电路系统架构领域，并且更具体地，涉及新的和有用的智能集成电路以及在集成电路系统架构领域中使用智能集成电路进行计算的方法。

背景技术

如今，人工智能和机器学习的各种实施方式正在推动许多技术领域的创新。人工智能(AI)系统和人工智能模型(包括算法)由支持机器(例如，计算机和/或计算服务器)的机器学习(深度学习)、推理、推断能力和大数据处理能力的许多系统架构和模型定义。这些AI系统和模型常常经过集中训练，以执行一项或多项特定任务，诸如自然语言处理、图像识别、规划、决策等。例如，这些AI系统和模型的子集包括人工神经网络模型。在许多情况下，人工神经网络模型的训练可能需要数千小时的训练周期和数万亿字节的训练数据，以在使用之前对模型的相关神经网络算法进行微调。

然而，一旦经过训练，神经网络模型或算法便可以被快速部署以基于与训练周期期间使用的较大训练数据集相比相对较小的数据集做出推断来完成特定任务(例如，从语音输入数据中识别语音等)。由神经网络模型或算法基于较小数据集做出的推断可以是关于神经网络模型计算出什么是关于环境的正确答案或指示的预测。

然而，尽管实施一个或多个神经网络算法的神经网络模型可能不需要与训练阶段中所需的相同数量的计算资源，但在现场部署神经网络模型继续需要大量的电路系统面积、能量和计算能力来对数据进行分类并推断或预测结果。例如，加权和计算通常用于模式匹配和机器学习应用，包括神经网络应用。在加权和计算中，集成电路可以用于将一组输入(x_i)乘以一组权重(w_i)，并将每个乘法运算的结果相加，以计算最终结果(z)。然而，用于机器学习应用的典型加权和计算包括数百或数千个权重，这使得使用传统数字电路系统来计算加权和计算在计算上很昂贵。具体地，从数字存储器访问数百或数千个权重需要大量的计算时间(即，增加的延迟)和显著的能量。

因此，计算神经网络模型等的加权和计算所需的传统数字电路系统往往为大的，以容纳存储神经网络模型所需的数百万个权重所需的大量数字存储器电路系统。由于电路系统的大的大小，需要更多的能量来支持许多传统计算机和电路的计算能力。

附加地，用于实施人工智能模型(和即，神经网络模型)的这些传统计算机和电路可能适用于远程计算过程(诸如在分布式计算系统(例如，云)中)或者使用许多现场计算服务器等的情况。然而，当在用于远程、边缘计算装置或现场装置的计算推理等中使用这些远程人工智能处理系统时，延迟问题是明显的。也就是说，由于输入数据必须常常通过具有变化带宽的网络传输并且随后由远程计算系统生成的推断必须经由相同的或类似的网络传输回到远场装置，因此当这些传统的远程系统寻求实施神经网络模型来生成将在远场装置中使用的推断时，在从远场装置接收输入数据时存在不可避免的延迟。附加地，这些传统电路常常无法管理计算负载(例如，有限的存储和/或有限的计算)并且可能常常依赖于远程计算系统(诸如云)来执行计算密集型计算和存储计算数据(例如，原始输入和输出)。因此，对远程计算系统(例如，云)的持续和/或连续的访问(例如，24x 7访问)对于连续操作而言是必需的，这可能由于成本、基础设施限制(例如，有限的带宽、低等级的通信系统等)等而不适于许多应用。