[发明专利]神经网络量化、应用方法、装置和计算设备

说明书

本发明公开了一种神经网络量化方法，包括：获取待量化的神经网络模型，从该神经网络模型的参数中确定多个待量化的参数；将每个待量化的参数转化为一个公共因子和一个量化因子的乘积，其中，公共因子为第一数据类型的数值，量化因子为第二数据类型的数值，且第一数据类型所占用的存储空间大于第二数据类型所占用的存储空间；采用第一数据类型存储多个待量化的参数的公共因子，以及采用第二数据类型分别存储多个待量化的参数的量化因子。本发明一并公开了相应的神经网络量化装置和计算设备。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种神经网络量化、应用方法、装置和计算设备。

背景技术

深度学习技术被广泛应用到各个领域。虽然深度神经网络非常有效，但它们的高计算和内存成本严重挑战了它们在便携式设备上的应用。因此，将全精度神经网络转换为低比特整数版本的网络低位量化方法一直是一个活跃且有前景的研究课题。

网络量化(Network quantization)指的是，把神经网络模型的权值或激活值从高精度转化成低精度(例如将32位浮点数转化成8位整数或二值化为1位整数)，同时保证模型准确率等指标与原来相近，模型大小变小，运行速度加快。

现有的将全精度网络量化为低比特网络的方法可大致分为两类：基于近似的方法和基于优化的方法。基于近似的方法在神经网络前向计算时利用低比特量化值，而在反向传播时采用原来的32位全精度值。使用不同的前向和后向近似会导致梯度不匹配的问题，这使得整个量化过程变得不稳定。基于优化的方法将神经网络的量化表示为离散约束的优化问题，该方法的迭代解决方案在训练期间具有很高的计算复杂度，且仅适用于对权重的量化。

发明内容

为此，本发明提供一种神经网络量化、应用方法、装置和计算设备，以力图解决或至少缓解上面存在的问题。

根据本发明的一个方面，提供一种神经网络量化方法，包括：获取待量化的神经网络模型，从所述神经网络模型的参数中确定多个待量化的参数；将每个所述待量化的参数转化为一个公共因子和一个量化因子的乘积，其中，所述公共因子为第一数据类型的数值，所述量化因子为第二数据类型的数值，且第一数据类型所占用的存储空间大于第二数据类型所占用的存储空间；采用所述第一数据类型存储所述多个待量化的参数的公共因子，以及采用所述第二数据类型分别存储所述多个待量化的参数的量化因子。

根据本发明的一个方面，提供一种神经网络应用方法，包括：获取量化神经网络模型，所述量化神经网络模型包括量化函数和多个权重，所述权重被转化为一个公共因子与一个量化因子的乘积，所述公共因子采用第一数据类型存储，所述量化因子采用第二数据类型存储，且第一数据类型所占用的存储空间大于第二数据类型所占用的存储空间，所述量化函数适于将节点的输出值转化为一个公共因子与一个量化因子的乘积；将待处理的数据输入所述量化神经网络模型，按照以下方法确定所述量化神经网络模型中的节点的输出值：获取输入值集合，所述输入值集合包括位于该节点的上一个处理层的多个节点的输出值，采用所述量化函数分别将各输入值转化为公共因子与量化因子的乘积；获取所述各输入值所对应的权重的公共因子和量化因子；将各输入值的量化因子组成量化输入值向量，将各权重的量化因子组成量化权重向量，根据所述量化输入值向量、量化权重向量、各输入值的公共因子、各权重的公共因子的乘积来确定该节点的输出值。

根据本发明的一个方面，提供一种神经网络量化装置，包括：初始化模块，适于获取待量化的神经网络模型，从所述神经网络模型的参数中确定多个待量化的参数；量化模块，适于将每个所述待量化的参数转化为一个公共因子和一个量化因子的乘积，其中，所述公共因子为第一数据类型的数值，所述量化因子为第二数据类型的数值，且第一数据类型所占用的存储空间大于第二数据类型所占用的存储空间；以及存储模块，适于采用所述第一数据类型存储所述多个待量化的参数的公共因子，以及采用所述第二数据类型分别存储所述多个待量化的参数的量化因子。