[发明专利]矩阵处理装置

说明书

本申请涉及矩阵处理装置。提供了方法、系统、和装置，其包括用于将稀疏元素变换为稠密矩阵的系统。所述系统包括数据提取单元，其包括多个处理器，所述数据提取单元被配置为基于对特定稀疏元素的子集的识别，确定用于提取所述特定稀疏元素的所述子集的处理器指定。所述系统包括串接单元，所述串接单元被配置为基于被应用于由所述数据提取单元提取的稀疏元素的变换来生成输出稠密矩阵。

技术领域

本公开涉及矩阵处理装置。

背景技术

本说明书大体上涉及使用电路来处理矩阵。

发明内容

根据本说明书中所描述的主题的一个创新方面，矩阵处理器能够被用来执行稀疏转稠密或者稠密转稀疏矩阵变换。大体上，高效能计算系统可以使用线性代数例程来处理矩阵。在一些实例中，矩阵的大小可能过大而无法存入一个数据存储中，并且该矩阵的不同部分可以被稀疏地存储在分布式数据存储系统的不同位置中。为了加载该矩阵，计算系统的中央处理单元可以指令多个矩阵处理器访问该矩阵的不同部分。每个矩阵处理器可以聚集稀疏数据，以执行对该稀疏数据的并行计算并且生成稠密矩阵，该稠密矩阵能够被串接在一起以供中央处理单元执行进一步的处理。

大体上，本说明书中所描述的主题的一个创新方面能够被替选在用于将稀疏元素变换为稠密矩阵的系统中。所述系统包括请求识别单元，所述请求识别单元被配置为：通过节点网络来接收对于存储在一个或多个数据片(data shard)中的特定稀疏元素的请求；确定所述系统被指派来处置(handle)所述特定稀疏元素的子集；以及响应于确定所述系统被指派来处置所述特定稀疏元素的所述子集，生成访问所述特定稀疏元素的所述子集的指示。所述系统包括数据提取单元，其包括多个处理器，所述数据提取单元被配置为：从所述请求识别单元接收访问特定稀疏元素的所述子集的所述指示；基于对所述特定稀疏元素的所述子集的识别，确定用于提取所述特定稀疏元素的所述子集的处理器指定；基于所述指定由所述多个处理器中的第一处理器来提取所述特定稀疏元素的所述子集中的第一稀疏元素；以及基于所述指定由所述多个处理器中的第二处理器来提取所述特定稀疏元素的所述子集中的第二稀疏元素。所述系统包括串接单元，所述串接单元被配置为：基于至少被应用于所述第一稀疏元素和所述第二稀疏元素的变换来生成输出稠密矩阵。

这些或其他实施方式均能够可选地包括以下特征中的一个或多个。例如，所述系统能够包括稀疏降低单元，所述稀疏降低单元被配置为接收包括来自所述第一处理器的所述第一稀疏元素的第一矩阵，所述第一矩阵具有第一维度；以及生成包括所述第一稀疏元素的第二矩阵，所述第二矩阵具有小于所述第一维度的第二维度。所述串接单元可以进一步被配置为接收所述第二矩阵。为了生成所述输出稠密矩阵，可以基于所述第二矩阵来生成所述输出稠密矩阵。

所述串接单元可以被配置为在第一时间点接收所述第一稀疏元素；在不同的第二时间点接收所述第二稀疏元素；以及针对所述输出稠密矩阵来确定所述第一稀疏元素和所述第二稀疏元素的顺序。为了生成所述输出稠密矩阵，可以基于所述第一稀疏元素和所述第二稀疏元素的所述顺序来生成所述输出稠密矩阵。

所述系统可以包括压缩/解压缩单元，所述压缩/解压缩单元被配置为压缩所述输出稠密矩阵以生成压缩输出稠密矩阵，以及向节点网络提供所述压缩输出稠密矩阵。所述串接单元可以进一步被配置为接收表示通过节点网络所发送的稠密矩阵的第一稠密矩阵。为了生成所述输出稠密矩阵，可以基于所述第一稠密矩阵、所述第一稀疏元素、以及所述第二稀疏元素来生成所述输出稠密矩阵。所述压缩/解压缩单元可以被配置为对压缩第一稠密矩阵解压缩以生成所述第一稠密矩阵。

为了确定所述系统被指派来处置所述特定稀疏元素的所述子集，所述数据提取单元可以基于查找表来确定所述系统被指派来处置所述特定稀疏元素的子集。所述特定稀疏元素中的一个或多个稀疏元素可以是多维矩阵，并且所述输出稠密矩阵可以是向量。