[发明专利]支持同时处理多个矩阵的高吞吐量矩阵处理器

说明书

公开了支持同时处理多个矩阵的高吞吐量矩阵处理器。一种系统包括数据输入向量单元、权重输入向量单元和矩阵处理器单元的多个计算单元。数据输入向量单元被配置为同时接收第一数据矩阵和第二数据矩阵的不同行的元素。权重输入向量单元被配置成接收组合权重向量，并且至少部分地同时向相应的第一组计算单元和第二组计算单元提供第一权重矩阵和第二权重矩阵的获得的权重元素。第一组计算单元和第二组计算单元中的每个计算单元被配置为将来自数据输入向量单元的元素与来自权重输入向量单元的相应权重矩阵的元素相乘，并将相应计算单元的相乘结果相加在一起，以至少部分地确定第一或第二卷积结果矩阵中的相应元素。

发明背景

通过使用硬件解决方案来改进对解决人工智能问题的神经网络的处理。这些解决方案可以包括硬件矩阵乘法单元和专用矩阵处理流水线。由于使用神经网络解决的问题的计算和数据密集型性质，性能的提高可能是显著的。然而，随着人工神经网络变得更加复杂，神经网络的特性会发生变化。例如，神经网络可以存在有不同的层数，并且每层可以有不同的维度。随着层从输入层前进到输出层，层的大小可以减小，导致矩阵大小减小。被设定大小以有效处理输入层所需的矩阵运算的硬件在用于求解不同大小的中间层或输出层时可能是低效的。因此，需要一种与降维矩阵兼容的高吞吐量矩阵乘法方案。

附图简述

在以下详细描述和附图中公开了本发明的各种实施例。

图1是示出使用神经网络解决人工智能问题的系统的实施例的框图。

图2A是示出使用神经网络解决人工智能问题的处理器系统的实施例的框图。

图2B是示出使用神经网络解决人工智能问题的矩阵处理器单元的实施例的框图。

图3是示出使用矩阵处理器单元并行执行多个二维卷积运算的过程的实施例的流程图。

图4是示出使用矩阵处理器单元执行二维卷积运算的过程的实施例的流程图。

图5是示出使用矩阵处理器单元和向量单元运算来执行二维卷积运算的过程的实施例的流程图。

图6A是示出使用矩阵处理器单元和向量单元运算来执行二维卷积运算的过程的实施例的流程图。

图6B是示出准备权重输入操作数以使用矩阵处理器单元和向量单元运算执行二维卷积运算的过程的实施例的流程图。

图7A和图7B是示出用于执行逐深度卷积(depthwise convolution)的示例矩阵操作数的图示。

图8A和图8B是示出用于执行逐深度卷积的展开的数据矩阵(unrolled datamatrix)的示例的图示。

图9A和图9B是示出用于执行逐深度卷积的展开的权重矩阵的示例的图示。

图10A和图10B是示出用于执行逐深度卷积的向量计算的示例的图示。

图11A和图11B是示出用于并行执行多个逐深度卷积运算的组合权重向量的示例的图示。

详细描述

本发明可以以多种方式实现，包括作为过程；装置；系统；物质的组成；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，例如被配置为执行存储在耦合到处理器的存储器上和/或由该存储器提供的指令的处理器。在本说明书中，这些实现或者本发明可以采取的任何其他形式可以被称为技术。通常，在本发明的范围内，可以改变所公开的过程的步骤顺序。除非另有说明，否则被描述为被配置为执行任务的诸如处理器或存储器的组件可以被实现为在给定时间被临时配置为执行任务的通用组件或者被制造为执行任务的特定组件。如本文所使用的，术语“处理器”指的是被配置成处理数据(例如计算机程序指令)的一个或更多个设备、电路和/或处理核心。