[发明专利]一种基于混合精度量化神经网络的语音唤醒方法及系统

说明书

本发明公开了一种基于混合精度量化神经网络的语音唤醒方法及系统，所述方法包括：利用语音唤醒设备的麦克风采集待处理语音信号；对所述待处理语音信号进行特征提取，得到对数梅尔频谱特征；将所述对数梅尔频谱特征输入混合精度量化神经网络，确定所述对数梅尔频谱特征对应的分类结果；其中，所述混合精度量化指，针对网络中每一层对参数计算精度的要求，对每一层的参数和运算采用不同的量化位数进行参数量化及运算简化；若所述对数梅尔频谱特征对应的分类结果为唤醒词且已超过设定时限，唤醒所述语音唤醒设备。

技术领域

本申请涉及语音控制技术，尤其涉及一种基于混合精度量化神经网络的语音唤醒方法及系统。

背景技术

目前，语音唤醒服务在车载设备、智能家居设备、智能控制设备等多种设备上均有应用。而这些设备的共同点在于内存小、计算力有限，因此语音唤醒服务需同时满足高准确率、运行所用内存小、计算量少的要求。

而为了保证语音唤醒的准确率，语音唤醒服务需要高性能的神经网络模型来支持，例如高精度的深度卷积神经网络模型。但是，这类模型复杂度高，计算量大，通常需要占用设备大量内存，难以将其部署到内存较小的设备中。

因此，如何在保证唤醒精度的同时，减小语音唤醒服务的参数量与计算复杂度，是目前亟需解决的问题。

发明内容

本发明提供了一种基于混合精度量化神经网络的语音唤醒方法及系统，针对网络中每一层对参数计算精度的要求不同，采用不同的量化位数进行逐层量化，在保证唤醒精度的同时，能够大大减小模型的参数量与计算复杂度，从而降低了语音唤醒服务在内存占用、功耗与唤醒延时方面的缺陷。在实际应用中，可提供一种全新的低功耗语音唤醒思路以及芯片设计思路。

为解决上述技术问题，本发明的第一方面，公开了一种基于混合精度量化神经网络的语音唤醒方法，所述方法包括：

利用语音唤醒设备的麦克风采集待处理语音信号；

对所述待处理语音信号进行特征提取，得到对数梅尔频谱特征；

将所述对数梅尔频谱特征输入混合精度量化神经网络，确定所述对数梅尔频谱特征对应的分类结果；其中，所述混合精度量化指，针对网络中每一层对参数计算精度的要求，对每一层的参数和运算采用不同的量化位数进行参数量化及运算简化；

若所述对数梅尔频谱特征对应的分类结果为唤醒词且已超过设定时限，唤醒所述语音唤醒设备。

优选的，所述混合精度量化神经网络，包括：依次连接的第一卷积层、批标准化BN层、线性整流单元ReLU激活函数、十二个以上的残差块、最大池化层、全连接层；

每个所述残差块包括：第二卷积层、批标准化BN层、线性整流单元ReLU激活函数以及一条捷径；

在每个所述残差块中，所述捷径连接当前残差块中的第二卷积层的输入端与所述BN层的输出端，用于复制第二卷积层的输入，并与所述BN层的输出相加得到总和；总和作为当前残差块中的ReLU激活函数的输入以及下一残差块的输入；最后残差块的输出进入所述最大池化层进行降采样后，输入到所述全连接层计算概率；

其中，首层卷积层与最后一层全连接层采用8bit量化；所述残差块中的所有第二卷积层采用1bit量化；所述残差块中的所有BN层的特征输入和特征输出采用4bit量化。

优选的，所述所述首层卷积层与最后一层全连接层采用8bit量化，具体包括：

针对所述首层卷积层与所述最后一层全连接层，采用公式q＝clamp(round(r*S―Z))对全精度输入进行8bit量化，得到无符号8bit特征输入及其量化因子和零点偏移量；其中，所述首层卷积层中的全精度输入为所述语音数据集对应的对数梅尔频谱特征输入；