[发明专利]卷积神经网络中用于稀疏张量的灵活加速器

说明书

本发明公开了一种装置，该装置包括：张量计算集群，该张量计算集群具有多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；和张量存储器集群，该张量存储器集群具有多个张量特征映射图存储器单元以存储该多个子特征映射图。该装置还包括电路，该电路用于将输入特征映射图划分为该多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值，并且将该多个子特征映射图中的每个子特征映射图分派给该多个张量计算单元中的一个张量计算单元和该多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。

背景技术

申请人提供以下说明以帮助读者理解。所提供的信息或所引用的参考文献均不被承认是现有技术。

机器学习算法被广泛应用于诸如医学成像、计算机视觉、广告、游戏等领域。机器学习算法处理大量的输入数据。随着输入数据的量增加，处理大量输入数据所需的计算时间和计算资源也在增加。然而，当前使用的机制在机器学习应用程序中的配置方式和处理输入数据的方式是有限的。

发明内容

根据本公开的一些方面，公开了一种装置。该装置包括：张量计算集群，该张量计算集群具有多个张量计算单元以处理机器学习应用程序中的多个子特征映射图；张量存储器集群，该张量存储器集群具有多个张量特征映射图存储器单元以存储该多个子特征映射图；和电路，该电路用于将输入特征映射图划分为该多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值。该电路还将该多个子特征映射图中的每个子特征映射图分派给该多个张量计算单元中的一个张量计算单元和该多个张量特征映射图存储器单元中的一个张量特征映射图存储器单元以用于并行处理。

根据本公开的一些其他方面，公开了一种方法。该方法包括由机器学习应用程序中的加速器将输入特征映射图划分为多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图中的稀疏性满足预先确定的阈值。该方法还包括：由该加速器将该多个子特征映射图中的每个子特征映射图分派给张量计算集群的多个张量计算单元中的一个张量计算单元，以并行处理该多个子特征映射图中的每个子特征映射图；由该加速器处理该多个子特征映射图中的在该多个张量计算单元中的被分派的张量计算单元中的每个子特征映射图，以从该多个张量计算单元中的每个张量计算单元生成输出子特征映射图；以及由该加速器组合来自该多个张量计算单元中的每个张量计算单元的输出子特征映射图，以生成针对该输入特征映射图的输出特征映射图。

根据本公开的其它方面，公开了一种在其上存储有计算机可读指令的非暂态计算机可读介质。这些计算机可读指令当由与机器学习应用程序中的加速器相关联的处理器执行时使该处理器：将输入特征映射图划分为多个子特征映射图，使得该多个子特征映射图中的每个子特征映射图包括基本上类似的稀疏性，并且将该多个子特征映射图中的每个子特征映射图分派给稀疏张量计算集群，以并行处理该多个子特征映射图中的每个子特征映射图。

根据本公开的一些其他方面，公开了另一种装置。该装置包括：用于基于稀疏性将输入特征映射图划分为多个子特征映射图的装置和用于将该多个子特征映射图中的每个子特征映射图分派给张量计算集群以并行处理该多个子特征映射图中的每个子特征映射图的装置。

前述发明内容仅是例示性的，并不旨在以任何方式进行限制。除了上述例示性方面、实施方案和特征之外，通过参考以下附图和具体实施方式，另外的方面、实施方案和特征将变得显而易见。

附图说明

图1是根据本公开的一些实施方案的计算系统的示例性框图。

图2是根据本公开的一些实施方案的图1的计算系统的加速器的示例性框图。

图3A和图3B是根据本公开的一些实施方案的将输入特征映射图转换成多个子特征映射图的示例。

图4是根据本公开的一些实施方案的图2的加速器的稀疏张量存储器集群的示例性框图。

图5是根据本公开的一些实施方案的图2的加速器的稀疏张量存储器集群的另一个示例性框图。