[发明专利]一种神经网络声学模型激活函数定点量化方法

说明书

技术领域

本发明涉及语音识别技术领域，特别涉及一种神经网络声学模型激活函数定点量化方法。

背景技术

在语音识别领域，利用深层神经网络(Deep Neural Network，DNN)进行声学建模取得了很好的效果。DNN的深层结构使得模型具有很强的学习能力，同时需要大量的浮点数乘加运算，DNN的主要运算用如下公式：

x^(l)＝σ(W^(l)·x^(l-1))

其中，l为层数，x^(l)为第l层的激活向量，W^(l)为第l层的权值矩阵，x^(l-1)为第l-1层的激活向量，σ(·)为激活函数；其一般采用的是sigmoid函数，如下：

其中，e^-x为指数运算。

对DNN模型进行定点量化的方法被用来降低浮点运算量，其原理如下：

由于sigmoid函数σ(x)∈(0,1)，可以将浮点型激活值使用无符号8位定点整数表示，即将激活值线性地量化为0～256的整数(为了简洁，以下公式中不含表示层数的上标)：

x^*＝round(x·256)

其中，x*为经过线性定点量化后的激活向量，round(·)为四舍五入取整操作。

同时，将权值矩阵使用有符号8位定点整数表示，即将权值线性地量化为-127～127的整数，用如下两个公式(为了简洁，以下公式中不含表示层数的上标)：

w_max＝max(|W|)

其中，W为权值矩阵，max(|W|)为取出矩阵W中的绝对值最大的元素值，w_max为权值矩阵W中所有元素中的绝对值最大值，W^*为线性定点量化后的权值矩阵。

对模型的定点量化以后，原本的浮点运算就可以转变为定点运算，从而节省计算成本。模型从浮点转为定点之后，由于数据精度的降低，模型的性能也会略有降低，另一方面，即使经过定点量化把浮点运算转化为定点运算，乘法的数量没有减少，DNN模型依然需要大量的定点乘加运算。因此，要在计算资源有限，尤其是乘 法器数量有限的嵌入式设备上应用DNN进行语音识别的声学建模十分困难。

发明内容

本发明的目的在于，为解决现有的定点量化方法不能降低乘法运算数量的缺陷，本发明提供了一种神经网络声学模型激活函数定点量化方法，该方法具体包括：

步骤(1)在DNN模型的第l层，将所述第l-1层的浮点激活向量中x^(l-1)＝[x₁,…,x_N]^T的每个浮点激活值线性地量化为0～2^K的整数，K为量化的级数，得到所述第l-1层的线性定点量化的激活向量

其中，

其中，x_i为第l-1层的浮点激活向量x^(l-1)的第i维元素，为第l-1层的线性定点量化的激活向量x^*(l-1)的第i维元素；

步骤(2)对步骤(1)中得到的所述第l-1层的线性定点量化的激活向量x^*(l-1)中的每个激活值进一步分级，即将所述每个激活值近似为最为邻近的2的整次幂，最终得到所述第l-1层的分级定点量化激活向量

所述第l-1层的分级定点量化激活向量中的任意一个元素的取值需满足：

具体对应关系如下：

其中，x^*(l-1)为第l-1层的线性定点化的激活向量中的元素，x^**(l-1)为第l-1层分级定点量化的激活向量中的元素，和分别表示向上取整和向下取整。

步骤(3)根据如下公式对第l层进行线性定点量化，即将该层浮点型权值矩阵W^(l)的权值w_i,j线性地量化为-127到127间的整数：

其中，W^(l)为包含第l层的权值w_i,j(其中i＝1,…,M，j＝1,…,N)的浮点型权值矩阵，即