[发明专利]一种骨导辅助的气导语音处理方法、装置、介质及设备

说明书

本申请公开了一种骨导辅助的气导语音处理方法、装置、介质和设备，属于音频编解码技术领域。该方法主要包括：将骨导音频和带噪气导音频分别进行加窗处理和低延迟改进型离散余弦变换处理，得到骨导谱系数和气导谱系数；利用骨导谱系数和气导谱系数分别进行梅尔频率倒谱的计算，得到骨导特征和带噪气导特征；利用预先处理的神经网络模型，处理骨导特征和带噪气导特征，得到子带掩膜；利用子带掩膜和气导谱系数计算得到增强谱系数，并利用增强谱系数计算得到增强语音音频码流。本申请能够在节省算力和存储空间的条件下，以较小的时间延迟实现语音信号的增强。

技术领域

本申请涉及音频编解码技术领域，特别涉及一种骨导辅助的气导语音处理方法、装置、介质及设备。

背景技术

传统的麦克风(又称为气导麦克风)采集的语音都是经过空气传导的，容易受到背景噪声干扰。骨导麦克风是利用人体骨头振动形成电信号从而进行语音采集的设备，骨导麦克风可有效避免背景噪声干扰，具有很强抗噪性能。但单独使用骨导麦克风与单独使用气导麦克风仍存在以下问题：1、骨导麦克风采集的语音抗干扰性强，但存在高频部分缺失和中频部分厚重等现象，这使其采集得到语音清晰度和明亮度不够。2、气导麦克风采集的语音使用广泛，频带宽且采集的语音质量高，但其容易受到背景噪声的干扰。

为了解决单独使用骨导麦克风和单独使用气导麦克风存在的问题，现有技术中，通常利用服务器中的传递函数实现对语音信号的增强、或者根据气导音频信号的信噪比和预定的阈值进行比较，从而确定如何增强音频信号、或者采用预先训练的深度神经网络，对音频信号进行增强。

但现有技术中采用的方法在应用于低功耗蓝牙时，仍存在延时较大、占用带宽较大、计算量大和需求存储空间大的问题，且存在增强后的音频信号音质差，用户体验感较差的问题。

发明内容

针对现有技术存在的延时较大、占用带宽较大和计算量大需求存储空间大的问题，本申请主要提供一种骨导辅助的气导语音处理方法、装置、介质及设备。

为了实现上述目的，本申请采用的一个技术方案是：提供一种骨导辅助的气导语音处理方法，其包括：将骨导音频和带噪气导音频分别进行加窗处理和低延迟改进型离散余弦变换处理，得到骨导谱系数和气导谱系数；利用骨导谱系数和气导谱系数分别进行梅尔频率倒谱的计算，得到骨导特征和带噪气导特征；利用预先处理的神经网络模型，处理骨导特征和带噪气导特征，得到子带掩膜；利用子带掩膜和气导谱系数计算得到增强谱系数，并利用增强谱系数计算得到增强语音音频码流。

可选的，对骨导音频进行重采样处理、长期后置滤波处理、冲击检测处理和带宽检测处理。

可选的，获取气导语音和对应的骨导音频，并将气导语音与噪声按照预定的信噪比进行混音，得到带噪气导音频；利用气导语音、骨导音频和带噪气导音频，分别计算得到纯净气导特征、带噪气导特征和骨导特征；将骨导特征和带噪气导特征进行拼接，得到拼接特征，并将拼接特征输入神经网络模型计算得到子带掩膜；利用子带掩膜和带噪气导音频的离散余弦变换谱系数，计算得到增强谱系数；根据增强谱系数和纯净气导特征，计算得到气导语音和增强语音音频之间的源失真比；根据源失真比，调节神经网络模型的模型参数，直至得到预先处理的神经网络模型。

可选的，对气导语音进行低延迟改进型离散余弦变换处理，得到纯净气导特征；对带噪气导音频进行梅尔频率倒谱的计算，得到带噪气导特征；对骨导音频进行梅尔频率倒谱的计算和长期后置滤波器的处理，得到骨导特征。

可选的，在源失真比大于预设阈值时，锁定神经网络模型和神经网络模型对应的模型参数，并将锁定的神经网络模型作为预先处理的神经网络模型。

可选的，将子带掩膜和气导谱系数相乘，得到增强谱系数；将增强谱系数进行包括变换域噪声整形、时域噪声整形、量化、噪声电平估计、算术编码残差编码和码流封装的处理步骤，得到增强语音音频码流。