[发明专利]用分布流水线可分离卷积运算将卷积映射到相连处理元件

说明书

公开了使用分布式流水线式可分离卷积运算将卷积映射到相连的处理元件。一种处理器系统包括多个点积处理器单元和逐元素乘法单元。点积处理器单元为每个数据矩阵通道执行数据矩阵与单独的逐深度卷积权重矩阵的逐深度卷积。每个点积处理器单元为一个或更多个数据矩阵通道执行至少一部分逐深度卷积。逐元素乘法单元执行逐点卷积的乘法运算。每个逐元素乘法单元向从点积处理器单元中的一个或更多个接收的每个逐深度卷积部分结果元素应用来自多个逐点卷积权重滤波器的每一个的相应数据元素，以确定逐元素乘法单元结果。处理器系统将来自逐元素乘法单元结果的数据元素的不同组相加在一起，以至少部分地计算逐点卷积结果的不同数据元素。

发明背景

使用神经网络可以解决一整类复杂的人工智能问题。由于这些问题通 常是计算和数据密集型的，所以硬件解决方案通常有利于提高神经网络的 性能。人工智能问题的解决方案通常可以使用基于硬件的解决方案来更快 地解决，这些解决方案优化了传统卷积运算的性能。卷积运算的传统优化 方法需要专门的硬件和复杂的存储器组织或转换方案。创建与解决传统卷 积运算兼容的硬件平台，同时也显著提高性能和效率，是一项技术挑战。 因此，存在对硬件和数据路径解决方案(data path solution)的需求，该硬 件和数据路径解决方案提高了有效计算解决复杂人工智能问题所需的卷 积运算的能力，而不会引入显著的复杂性和限制。

附图简述

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出使用神经网络解决人工智能问题的系统的实施例的框图。

图2是示出使用神经网络解决人工智能问题的处理元件的实施例的框 图。

图3是示出用于解决卷积问题的过程的实施例的流程图。

图4是示出通过在处理元件之间分配运算来解决卷积问题的过程的实 施例的流程图。

图5是示出通过在处理元件之间分配运算来解决卷积问题的过程的实 施例的流程图。

图6是示出使用处理器系统执行卷积运算的流水线式过程的实施例的 流程图。

图7是示出使用处理器系统执行卷积运算的流水线式过程的实施例的 流程图。

图8是示出使用神经网络解决人工智能问题的点积引擎的实施例的框 图。

图9是示出使用点积引擎执行二维卷积运算的过程的实施例的流程图。

图10是示出使用点积引擎执行二维卷积运算的过程的实施例的流程 图。

图11是示出使用点积引擎和向量单元运算来执行二维逐深度 (depthwise)卷积运算的过程的实施例的流程图。

图12是示出使用点积引擎和向量单元运算来执行二维逐深度卷积运 算的过程的实施例的流程图。

图13A和图13B是示出用于执行逐深度卷积的示例矩阵操作数的图示。

图14A和图14B是示出用于执行逐深度卷积的展开的数据矩阵的示例 的图示。

图15A和图15B是示出用于执行逐深度卷积的展开的权重矩阵的示例 的图示。

图16A和图16B是示出用于执行逐深度卷积的向量计算的示例的图示。

详细描述