[发明专利]基于深度学习的语音频带扩展方法、装置及编码方法

说明书

本申请公开了一种基于深度学习的语音频带扩展方法、装置及编码方法，属于音频编码技术领域，该方法包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数。本申请利用编码过程中的已有参数，并进行特征提取，获取音频数据中关于元音和摩擦音的特征，充分考虑原有音频数据中元音和摩擦音的不同，进行更加准确的频带扩展，提升用户体验。

技术领域

本申请涉及音频编解码技术领域，特别涉及一种基于深度学习的语音频带扩展方法、装置及编码方法。

背景技术

目前窄带语音信号仍然在广泛的使用，如AMR-NB，其在移动电话系统中仍然占据重要地位，它的采样率为8kHz，有效带宽为300～3400Hz，但是音质一般而且可懂性也不理想。现有技术中，一种简便的方法是盲带宽扩展(Blind bandwidth extension，简称BBWE)，以蓝牙耳机通话为例，在蓝牙耳机接收到窄带音频码流时，先解码为窄带语音信号(有效带宽300～3400Hz)，再使用BBWE将其带宽扩展为宽带语音信号播放(50～7000Hz)，此种方法不需要更新整个通信系统，只需要在音频信号接收端执行带宽扩展即可，以较低的代价提升了音质和可懂性。不足之处在于，对音频数据中的摩擦音的处理效果不佳。由于元音与摩擦音的特性不同，元音的主要能量集中在低频成分，其低频谐波结构与高频谐波结构相似，而且在高频部分衰减迅速，而摩擦音无明显的周期成分，其主要能量集中在高频成分。现有技术的解决方法在扩展带宽时并不做区分，导致频带扩展的效果较差，影响最终的音质；同时该种处理方法，需要占用较大的存储空间和运算量大，不适用对存储空间和运算量有着限制的嵌入式蓝牙系统。

发明内容

针对在进行窄带语音的扩展时，现有方法不对窄带语音数据中的元音和摩擦音进行区分，进行无差别的频带扩展，导致频带扩展的效果较差，影响用户使用体验的问题，本申请提出一种基于深度学习的语音频带扩展方法、装置及编码方法。

第一方面，本申请提出一种基于深度学习的语音频带扩展方法，包括：对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数；对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数；将第一特征参数和第二特征参数输入到预训练的神经网络模型中，生成音频数据对应的全带宽谱系数。

可选的，对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，包括：对谱系数进行特征提取，得到谱熵，其中，在谱熵小于谱熵阈值的条件下，该片段的音频数据对应语音数据；在谱熵不小于谱熵阈值的条件下；该片段的音频数据对应非语音数据；对谱系数进行特征提取，得到子带能量，其中在低频带的子带能量大于第一能量阈值的条件下，音频数据包含元音，在高频带的子带能量大于第二能量阈值的条件下，音频数据包含摩擦音。

可选的，对音频数据进行编码至低延迟改进型离散余弦变换后，得到音频数据对应的谱系数，并进行特征提取，得到具有元音和摩擦音信息的第一特征参数，还包括：对谱系数进行特征提取，得到频谱质心，其中，在低频带，频谱质心小于第一阈值的条件下，音频数据包含元音；在高频带，频谱质心大于第二阈值的条件下，音频数据包含摩擦音。

可选的，对音频数据进行重采样和长期后置滤波器处理，并对处理的结果进行特征提取，得到具有元音和摩擦音信息的第二特征参数，包括：通过长期后置滤波器对音频数据进行处理，得到音频数据对应的基音存在标志，其中在基音存在标志是第一数值的条件下，音频数据包含元音，在基音存在标志是第二数值的条件下，音频数据包含摩擦音。