[发明专利]用于定点神经网络的位宽选择

说明书

一种用于选择定点机器学习模型的位宽的方法包括评估该模型的每个计算级处的模型准确度对于位宽的敏感度。该方法还包括选择该模型的计算级中的参数和/或中间计算的位宽。该参数的位宽和该中间计算的位宽可以是不同的。所选择的位宽可以基于敏感度评估来确定。

相关申请的交叉引用

本申请要求于2015年5月8日提交的题为“BIT WIDTH SELECTION FOR FIXEDPOINT NEURAL NETWORKS(用于定点神经网络的位宽选择)”的美国临时专利申请No.62/159,097的权益，其公开内容通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及机器学习，并且尤其涉及改进用于定点机器学习模型(诸如人工神经网络)的位宽选择的系统和方法。

背景

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由计算设备执行的方法。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体而言，CNN已被广泛使用于模式识别和分类领域。

深度学习架构(诸如深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并且因此它们已被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置在一个或多个计算链中。这些多层架构可每次训练一层并且可涉及使用后向传播的微调。

其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。

尽管这些解决方案在数个分类基准上达到了优异的结果，但它们的计算复杂度可能极其高。另外，模型的训练可能是有挑战性的。

概述

在本公开的一方面，给出了一种用于选择定点机器学习模型的位宽的方法。所述方法包括评估该机器学习模型的每个计算级处的模型准确度对于位宽的敏感度。该方法还包括基于该敏感度评估来选择该模型的计算级中的参数和/或中间计算的位宽。该参数的位宽和该中间计算的位宽可以是不同的。

在本公开的另一方面，给出了一种用于选择定点机器学习模型的位宽的装置。该装置包括存储器以及耦合至该存储器的至少一个处理器。该一个或多个处理器被配置成评估该机器学习模型的每个计算级处的模型准确度对于位宽的敏感度。(诸)处理器还被配置成基于该敏感度评估来选择该模型的计算级中的参数和/或中间计算的位宽。该参数的位宽和该中间计算的位宽可以是不同的。

在本公开的还有另一方面，给出了一种用于选择定点机器学习模型的位宽的装备。该装备包括用于评估该机器学习模型的每个计算级处的模型准确度对于位宽的敏感度的装置。该装备进一步包括用于基于该敏感度评估来选择该模型的计算级中的参数和/或中间计算的位宽的装置。该参数的位宽和该中间计算的位宽可以是不同的。

根据本公开的另一方面，给出了一种非瞬态计算机可读介质。该非瞬态计算机可读介质具有编码于其上的用于选择定点机器学习模型的位宽的程序代码。该程序代码由处理器执行并且包括用以评估该机器学习模型的每个计算级处的模型准确度对于位宽的敏感度的程序代码。该程序代码还包括用以基于该敏感度评估来选择该模型的计算级中的参数和/或中间计算的位宽的程序代码。该参数的位宽和该中间计算的位宽可以是不同的。