[发明专利]使用片上网络叠加的应用数据流图执行

说明书

公开了用于使用计算节点的网络来执行应用数据流图的方法和系统。在特定示例中，计算节点的网络可以是多核处理器的片上网络。一种方法包括将第一应用数据从第一源计算节点过渡到中间计算节点。该方法还可以包括在中间计算节点上从计算节点的网络的计算层提供第二应用数据。该方法还可以包括将第一应用数据结合第二应用数据从中间计算节点多播到至少两个目的地计算节点。第一源计算节点、中间计算节点和至少两个目的地计算节点都在计算节点的网络中。

技术领域

处理核可以通过在处理核之间以分布式方式执行复杂计算的组件计算来 协同执行该复杂计算。为此，处理核需要共享执行那些组件计算所需的数据， 以及接收关于它们被分配了哪些组件计算的指令。该与如何将复杂计算分解 为组件计算并分配给各种处理核相关联的技术与并行计算领域相关联。

背景技术

处理核可以经由网络连接，以促进与并行计算相关联的数据交换。每个 处理核都可以经由专用路由器连接到网络。当处理核位于单个芯片上时，网 络可以称为片上网络(NoC)。可以使用单播、多播或广播传输在核之间传输 数据。传输可以是单跳或多跳的，这取决于核的连接方式以及源和目的地核 在网络中的物理位置。例如，相邻核可能能够使用单跳传输进行通信，而远 端核可能需要通过多跳传输进行通信，因为数据在相邻路由器之间串联传递， 并从每个中间路由器转发到最终目的地路由器。

图1示出了NoC 100的一部分，其中四个处理核101、102、103和104 通过网络链接。该网络包括使用专用路由器110、111、112和113与每个处 理核通信的一组总线。路由器使用网络接口单元(NIU)与其相关联的处理核 进行通信。一组总线包括将路由器相互连接以及将路由器连接到其牛的电线。 NIU在处理核的硬件中被实例化。处理核使用存储器和处理管线执行分配给 它们的组件计算。组件计算的输入和输出在NIU的控制下使用路由器路由。 NIU是低级组件，并且可以使用对应的低级存储器复制原语来执行数据传输， 其中处理核上的本地存储器段被复制到另一个处理核上的远程存储器段。在 单跳单播数据传输的基本情况下，存储器复制操作涉及从源核上的存储器复 制有限固定大小的缓冲器，并通过总线将其写入目的地核上的存储器中的缓 冲器。为了传输更大数量的数据，系统可以发出多个存储器复制操作。

图1还示出了同一NoC 100的层图150。在层图150中，具有锐边的块 表示硬件，而具有圆边的块表示由堆叠该块的硬件实例化的软件。该层图示 出了计算层151，其由处理管线执行的指令实例化并存储在每个处理核的存 储器中，以及NoC层152，其由各种核上的NIU、路由器和缓冲器执行的指 令实例化，NIU、路由器和缓冲器实现与核之间的数据传输相关联的低级原语。 在此使用执行指令的概念来描述进行任何逻辑或数据移动操作的设备的操作， 即使“指令”完全在硬件中指定(例如，AND门执行“AND”指令)。该术语在用 于设备时，并不意味着该设备具有可编程能力。实际上，本领域的普通技术 人员将认识到NIU不是高度可配置或可编程的。执行低级原语的指令，如上 述单跳单播数据传输示例中的存储器复制操作，仍然相当多，并且涉及识别 数据将被复制到的远程存储器段，确保远程存储器段具有足够的空间用于复 制操作，跟踪并保留本地存储器段，向NIU提供数据本身和要传输的每条数 据的地址，并且还跟踪存储器复制操作的状态。在缓冲器较大的情况下，指令还涉及将其分解为多个存储器复制操作。

NoC层152仅将固定数据段的传输(经由低级存储器复制原语)从计算 层151的范围中抽象出来。如上所述，计算层151仍然涉及启动和跟踪存储 器复制操作的状态的软件指令。此外，计算层151还在简单存储器复制操作 之上的级别参与多核数据流管理和控制。在实践中，计算层在这方面的工作 负载包括管理数据将被写入的数据结构、跟踪这些数据结构的位置、轮询源 核以查看数据是否准备好入站传输(inbound transfer)，以及向目的地核发送 信号以提醒它们数据准备好出站传输(outbound transfer)。例如，计算层将管理存储器中FIFO的写入指针，并需要处理如FIFO何时变满或多个核同时请 求向同一目的FIFO写入的情况，然后在这些写入尝试中进行仲裁。

发明内容