[发明专利]用于深度学习的稀疏推理模块

说明书

政府权利

以美国政府合同编号UPSIDE下的政府支持来进行本发明。该政府在本发明中具有特定权利。

相关申请的交叉引用

本申请是2015年3月24日提交的美国临时申请No.62/137665的非临时专利申请，该美国临时申请的全部内容通过引用并入于此。

本申请也是2015年4月30日提交的美国临时申请No.62/155355的非临时专利申请，该美国临时申请的全部内容通过引用并入于此。

发明背景

(1)技术领域

本发明总体上涉及识别系统，并且更具体地说，涉及可以被用于多维信号处理流水线中的模块，以通过利用多个分层特征信道自适应地提取信息来识别信号类别。

(2)背景技术

深度学习是机器学习的一个分支，其尝试通过利用具有复杂结构的多个处理层来模型化数据中的高级抽象。深度学习可以实现用于信号识别。这种深度学习方法的示例包括：卷积网络(参见并入的参考文献列表，参考文献No.1)、HMAX模型(参见参考文献No.2)、以及分层的自动编码器(hierarchy of auto-encoder)。这些方法的关键缺点是，它们需要高数值精度来存储无数的权重并处理无数的单元活动。情况就是这样，因为在精度较低的情况下，增量和批量学习模式中的权重更新都不太可能被登记，与权重的量化级之间的间隔相比其相对较小。基本上，深度学习方法需要最小比特数，来调整权重并实现合理的识别性能。尽管如此，这种最小比特数甚至可能在流水线深度增加时并且随着输入尺寸增加而阻碍满足高能量和吞吐量挑战。因此，挑战是以低精度学习权重，同时单元活动以低精度表示和处理。

在多层处理架构中处理以很少比特来登记小权重更新的问题的一个众所周知的技术是概率舍入方法(probabilistic rounding method)(参见参考文献No.3)。在概率舍入方法中，每个权重变化(如通过任何监督或非监督方法计算的)首先被校正，并按照权重的量化级之间的间隔进行比例化，然后与0和1之间的均匀随机数进行比较。如果该随机数相对较小，则将该特定权重更新成沿初始权重变化方向的相邻量化级。尽管能够处理小权重更新，但根据数据集，这种方法甚至需要至少5-10比特，以允许“随着精度降低至6比特而性能逐渐劣化”。

因此，尽管有低精度权重和活动，仍持续需要实现针对多维信号处理流水线的高识别性能的系统。

发明内容

描述了一种用于深度学习的稀疏推理模块(sparse inference module)。在各个实施方式中，所述稀疏推理模块包括存储器和一个或更多个处理器。在所述存储器具有编码的可执行指令，使得在执行时，所述一个或更多个处理器执行多个操作，如接收数据并且针对多个图案模板匹配所述数据，以生成针对所述多个图案模板中的每个图案模板的匹配度值；稀疏化所述匹配度值，使得仅提供满足标准的那些匹配度值，以供进一步处理为稀疏特征矢量，而其它失败的匹配度值被压制成零；以及利用所述稀疏特征矢量自选参与高级分类的信道。

在另一方面，所述数据包括静止图像信息、视频信息、以及音频信息中的至少一种。

在又一方面，所述信道的自选有助于对静止图像信息、视频信息以及音频信息中的至少一种的分类。

另外，所述标准需要所述匹配度值高于阈值限度。

在另一方面，所述标准需要所述匹配度值处于固定量的最高匹配度值之内。

在另一方面，描述了一种利用稀疏学习模块的深度学习系统。在这点上，所述深度学习系统包括多个分层特征信道层，每个特征信道层都具有一组过滤器，该组过滤器过滤在所述特征信道中接收的数据；多个稀疏推理模块，其中，在每个特征信道层内都电子地驻留稀疏推理模块；并且其中，一个或更多个所述稀疏推理模块被配置成，接收数据并且针对多个图案模板匹配所述数据，以生成针对所述多个图案模板中的每个图案模板的匹配度值，并且稀疏化所述匹配度值，使得仅提供满足标准的那些匹配度值，以供进一步处理为稀疏特征矢量，而其它失败的匹配度值被压制成零，以及利用所述稀疏特征矢量自选参与高级分类的信道。

另外，所述深度学习系统是卷积神经网络(CNN)，并且所述多个分层特征信道层包括第一匹配层和第二匹配层。所述深度学习系统还包括：第一池化层(pooling layer)，该第一池化层电子地位于所述第一匹配层与所述第二匹配层之间；和第二池化层，该第二池化层位于所述第二匹配层的下游。