[发明专利]用于分类的强制稀疏

说明书

相关申请的交叉引用

本申请要求于2015年9月2日提交的题为“ENFORCED SPARSITY FOR CLASSIFICATION(用于分类的强制稀疏)”的美国临时专利申请No.62/213,591的权益，其公开内容通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及机器学习，且更具体地涉及改进特征提取和分类的系统和方法。

背景技术

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。

深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并可使用反向传播微调。

其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。

尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。

概述

在本公开的一方面，公开了一种用于对输入进行分类的装置。该装置包括分类器和特征提取器。特征提取器被配置成从输入生成特征向量。特征向量还被配置成将该特征向量的数个元素设为零以产生稀疏特征向量。稀疏特征向量具有与由特征提取器生成的特征向量相同的维度。稀疏特征向量包括比由特征提取器生成的特征向量更少的非零元素。特征向量被进一步配置成将稀疏特征向量转发给分类器以对输入进行分类。

在本公开的另一方面，公开了一种用于对输入进行分类的方法。该方法包括从输入生成特征向量。该方法还包括将该特征向量的数个元素设为零以产生稀疏特征向量。稀疏特征向量具有与所生成的特征向量相同的维度。稀疏特征向量还包括比所生成的特征向量更少的非零元素。该方法进一步包括成将稀疏特征向量转发给分类器以对输入进行分类。

在本公开的又一方面，公开了一种用于对输入进行分类的设备。该设备包括用于从输入生成特征向量的装置。该设备还包括用于将该特征向量的数个元素设为零以产生稀疏特征向量的装置。稀疏特征向量具有与所生成的特征向量相同的维度。稀疏特征向量还包括比所生成的特征向量更少的非零元素。该设备进一步包括用于成将稀疏特征向量转发给分类器以对输入进行分类的装置。

根据本公开的再一方面，给出了一种非瞬态计算机可读介质。该非瞬态计算机可读介质其上编码有用于分类的程序代码。该程序代码由处理器执行并且包括用于从输入生成特征向量的程序代码。该程序代码还包括用于将该特征向量的数个元素设为零以产生稀疏特征向量的程序代码。稀疏特征向量具有与所生成的特征向量相同的维度。稀疏特征向量还包括比所生成的特征向量更少的非零元素。该程序代码进一步包括用于将稀疏特征向量转发给分类器以对输入进行分类的程序代码。

本公开的附加特征和优点将在下文描述。本领域技术人员应当领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。

附图简述

在结合附图理解下面阐述的详细描述时，本公开的特征、本质和优点将变得更加明显，在附图中，相同附图标记始终作相应标识。

图1解说了根据本公开的某些方面的使用片上系统(SOC)(包括通用处理器)来设计神经网络的示例实现。

图2解说了根据本公开的各方面的系统的示例实现。

图3A是解说根据本公开的各方面的神经网络的示图。