[发明专利]用于量化浮点神经网络以获得定点神经网络的方法和设备

说明书

相关申请的交叉引用

本申请要求于2015年5月8日提交的题为“FIXED POINT NEURAL NETWORK BASED ON FLOATING POINT NEURAL NETWORK QUANTIZATION(基于浮点神经网络量化的定点神经网络)”的美国临时专利申请No.62/159,079的权益，其公开内容通过援引全部明确纳入于此。

背景

领域

本公开的某些方面一般涉及机器学习，尤其涉及量化浮点神经网络以获得定点神经网络。

背景技术

可包括一群互连的人工神经元(例如，神经元模型)的人工神经网络是一种计算设备或者表示将由该计算设备执行的方法。人工神经网络中的个体节点可以通过获取输入数据并对该数据执行简单操作来模仿生物学神经元。对输入数据执行简单操作的结果选择性地传递给其他神经元。每个节点的输出被称为其“激活”。权重值与网络中的每个向量和节点相关联，并且这些值约束输入数据如何与输出数据相关。与个体节点相关联的权重值也被称为偏置。这些权重值通过训练数据通过网络的迭代流来确定(例如，权重值在其中网络学习如何通过特定类别的典型输入数据特征来标识这些特定类别的训练阶段期间建立)。

卷积神经网络是一种前馈人工神经网络。卷积神经网络可包括神经元集合，其中每一个神经元具有感受野并且共同地拼出一输入空间。卷积神经网络(CNN)具有众多应用。具体地，CNN已被广泛使用于模式识别和分类领域。

深度学习架构(诸如，深度置信网络和深度卷积网络)是分层神经网络架构，其中第一层神经元的输出变成第二层神经元的输入，第二层神经元的输出变成第三层神经元的输入，依此类推。深度神经网络可被训练以识别特征阶层并因此它们被越来越多地用于对象识别应用。类似于卷积神经网络，这些深度学习架构中的计算可分布在处理节点群体上，其可被配置成一个或多个计算链。这些多层架构可每次训练一层并可使用反向传播细调。

其他模型也可用于对象识别。例如，支持向量机(SVM)是可被应用于分类的学习工具。支持向量机包括对数据进行归类的分离超平面(例如，决策边界)。该超平面由监督式学习来定义。期望的超平面增加训练数据的裕量。换言之，超平面应该具有到训练示例的最大的最小距离。

尽管这些解决方案在数个分类基准上取得了优异的结果，但它们的计算复杂度可能极其高。另外，这些模型的训练可能是有挑战性的。

概述

一种使用量化器来量化浮点机器学习网络以获得定点机器学习网络的方法可以包括：选择该浮点机器学习网络的输入分布的至少一个矩。该方法还可以包括：至少部分地基于该浮点机器学习网络的输入分布的至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络的对应值。

一种用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的设备可以包括：用于选择该浮点机器学习网络的输入分布的至少一个矩的装置。该设备还可以包括：用于至少部分地基于该浮点机器学习网络的输入分布的至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络的对应值的装置。

一种用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的装置可以包括：存储器单元和耦合至该存储器单元的至少一个处理器。该至少一个处理器可被配置成：选择浮点机器学习网络的输入分布的至少一个矩。该至少一个处理器可被进一步配置成：至少部分地基于该浮点机器学习网络的输入分布的至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络的对应值。

一种其上记录有在由处理器执行时用于使用量化器来量化浮点机器学习网络以获得定点机器学习网络的程序代码的非瞬态计算机可读介质，该程序代码可以包括：用于选择该浮点机器学习网络的输入分布的至少一个矩的程序代码。该非瞬态计算机可读介质可进一步包括：用于至少部分地基于浮点机器学习网络的输入分布的该至少一个所选矩来确定用于量化该浮点机器学习网络的值的量化器参数以获得定点机器学习网络的对应值的程序代码。

本公开的附加特征和优点将在下文描述。本领域技术人员应该领会，本公开可容易地被用作修改或设计用于实施与本公开相同的目的的其他结构的基础。本领域技术人员还应认识到，这样的等效构造并不脱离所附权利要求中所阐述的本公开的教导。被认为是本公开的特性的新颖特征在其组织和操作方法两方面连同进一步的目的和优点在结合附图来考虑以下描述时将被更好地理解。然而，要清楚理解的是，提供每一幅附图均仅用于解说和描述目的，且无意作为对本公开的限定的定义。