[发明专利]处理核心数据压缩和存储系统

说明书

公开了关于稀疏数据的快速且高效的压缩和解压缩的方法和系统。一种用于压缩来自稀疏矩阵的数据集的方法包括：评估来自该数据集的数据条目的序列；从该序列提取稀疏数据值的序列；从该序列提取非稀疏数据值行程长度的序列；根据该序列制定行指针的集合；将稀疏数据值的序列存储在存储器地址的第一集合处；并且将非稀疏数据值行程长度的序列存储在存储器地址的第二集合处。行指针的集合在存储器地址的第一集合和存储器地址的第二集合两者中标识该稀疏矩阵的行的集合。可以使用行指针进行快速解压缩。

相关申请的交叉引用

本申请要求于2018年6月11日提交的美国临时专利申请第62/683,205号和于2019年6月6日提交的美国专利申请第16/434,065号的权益。

背景技术

机器智能系统性能的最近激增并不是因为革命性的新算法的开发。事实上，如今机器智能应用中使用的核心算法源于一系列已经有半个多世纪历史的工作。相反，正是已经对以有效的方式实现机器智能算法的硬件和软件进行的改进，推动了最近的激增。曾经因过于计算密集而即便是用最复杂的计算机也无法以有效的方式实现的算法，现在可以在单个用户的智能手机上用专用的硬件执行。硬件和软件的改进采取各种形式。例如，已经以有效的方式重新利用传统上用来处理用于为计算机图形渲染多边形的向量的图形处理单元，以操纵在机器智能处理中使用的数据元素。作为另一个示例，已经从头开始设计某些类别的硬件，以通过使用诸如脉动阵列(systolic array)之类的专用处理元件来实现机器智能算法。进一步的进展已集中在使用晶体管和存储元件的集合，来直接在硬件中模拟传统人工神经网络(ANN)中神经元的行为。毫无疑问，机器智能领域从这些改进中受益匪浅。然而，尽管对这些方法有强烈的兴趣，机器智能系统仍然代表了现代的最为计算和能量密集的计算应用之一，并且呈现了准备好进一步发展的领域。

机器智能应用如此需要资源的原因在于，被操作的数据结构通常非常大，并且必须在每个数据结构上执行的离散原始计算的数量同样巨大。传统的ANN接收输入向量，使用输入向量和一组权重向量进行计算，并产生输出向量。权重向量集中的每个权重向量通常被称为一层网络，并且每层的输出用作下一层的输入。在传统网络中，层是完全连接的，这要求输入向量的每个元素都参与到与权重向量的每个元素的计算之中。

从存储和存储器管理的角度来看，数据结构的巨大尺寸是存在问题的。重复来说，大的数据结构需要大的空间来存储。然而，传统的ANN呈现出一种略微独特的数据管理问题，即数据结构可能是稀疏的，但是稀疏性很难用于数据存储资源缓解的目的，这是因为稀疏数据可以对关于非备用数据元素在数据结构内的相对位置的重要“空间信息”进行编码。此外，由于传统ANN难以并行化，因此需要在计算之间存储ANN执行中的中间输出，至少是临时存储。

用于利用稀疏矩阵有效地进行矩阵计算和用于压缩稀疏矩阵的方法在本领域是已知的，并且可以应用于解决上述问题。已知的方法包括稀疏矩阵要被存储的具体格式，使得可以容易地调取矩阵的非稀疏值并将其应用于使用该矩阵的计算。一种这样的格式被称为压缩稀疏行(CSR)格式，其中表示矩阵的数据被更有效地存储在三个独立的矩阵中。这些矩阵中的一个存储非稀疏值，一个存储原始矩阵中非稀疏值的列索引，而一个存储原始矩阵参照另外两个新生成的矩阵的行索引的指针。

图1示出了用于现代机器智能系统的计算的有向图(graph)100。有向图100的输入是输入张量X。有向图100的输出是输出张量Y。输入可以是图片的编码，诸如猫101的图像。在这个示例中，有向图100的执行涉及提供关于经编码的图像的内容包含什么的文本猜测的编码的图。图输出可以被称为由有向图生成的推断，因为机器智能系统从图片的编码中有效地推断图片显示了什么。照此，如果有向图100表示一个经过适当训练的机器智能系统，则用输入张量X执行图100将产生一个输出张量Y，该输出张量对单词“猫(CAT)”进行编码，如图所示。