[发明专利]音频优化方法及相关装置、电子设备、存储介质

权利要求书

1.一种音频优化方法，其特征在于，包括：

提取采集音频的第一音频表示，并提取参考音频的第二音频表示；

基于所述第一音频表示和所述第二音频表示，分别提取得到第一回声表示、第一语音表示和第一噪声表示；

将所述第一语音表示分别与所述第一回声表示、所述第一噪声表示进行交互处理，得到第二语音表示、第二回声表示和第二噪声表示；其中，所述交互处理包括：回声抑制、噪声抑制、语音增强；

基于所述第二语音表示、所述第二回声表示和所述第二噪声表示中至少一者，得到优化之后的目标音频。

2.根据权利要求1所述的方法，其特征在于，所述将所述第一语音表示分别与所述第一回声表示、所述第一噪声表示进行交互处理，得到第二语音表示、第二回声表示和第二噪声表示，包括：

基于所述第一回声表示和所述第一语音表示分别进行回声抑制和语音增强，得到所述第二回声表示和第一增强语音表示，并基于所述第一噪声表示和所述第一语音表示分别进行噪声抑制和语音增强，得到所述第二噪声表示和第二增强语音表示；

基于所述第一增强语音表示和所述第二增强语音表示，得到所述第二语音表示。

3.根据权利要求2所述的方法，其特征在于，所述交互处理的步骤包括：

基于待交互的目标音频表示与待交互的参考音频表示之间的相关度，得到所述参考音频表示的参考权重；

基于所述参考权重，对所述目标音频表示和所述参考音频表示进行加权，得到加权音频表示；

其中，在所述交互处理为回声抑制的情况下，所述目标音频表示为所述第一回声表示，所述参考音频表示为所述第一语音表示，所述加权音频表示为所述第二回声表示；在所述交互处理为噪声抑制的情况下，所述目标音频表示为所述第一噪声表示，所述参考音频表示为所述第一语音表示，所述加权音频表示为所述第二噪声表示；在所述交互处理为语音增强的情况下，所述目标音频表示为所述第一语音表示，所述参考音频表示为所述第一回声表示，所述目标音频表示为所述第一增强语音表示，或者，所述参考音频表示为所述第一噪声表示，所述目标音频表示为所述第二增强语音表示。

4.根据权利要求2所述的方法，其特征在于，所述基于所述第一增强语音表示和所述第二增强语音表示，得到所述第二语音表示，包括：

将所述第一增强语音表示和所述第二增强语音表示进行拼接，得到所述第二语音表示；

或者，将所述第一增强语音表示和所述第二增强语音表示进行平均，得到所述第二语音表示。

5.根据权利要求1所述的方法，其特征在于，所述目标音频是经预设数值轮优化阶段得到的；在所述基于所述第二语音表示、所述第二回声表示和所述第二噪声表示中至少一者，得到优化之后的目标音频之前，所述方法还包括：

检测到当前优化阶段的优化轮数低于所述预设数值，分别对所述第二回声表示、所述第二语音表示和所述第二噪声表示进行特征提取，得到新的第一回声表示、新的第一语音表示和新的第一噪声表示；

重新执行所述将所述第一语音表示分别与所述第一回声表示、所述第一噪声表示进行交互处理，得到第二语音表示、第二回声表示和第二噪声表示的步骤以及后续步骤。

6.根据权利要求5所述的方法，其特征在于，所述基于所述第二语音表示、所述第二回声表示和所述第二噪声表示中至少一者，得到优化之后的目标音频，包括：

检测到所述当前优化阶段的优化轮数不低于所述预设数值，基于所述第二语音表示、所述第二回声表示、所述第二噪声表示中至少一者，恢复得到所述目标音频。

7.根据权利要求1所述的方法，其特征在于，所述目标音频是利用音频优化模型处理得到的，所述音频优化模型包括回声分支网络、语音分支网络、噪声分支网络，以及位于所述回声分支网络和所述语音分支网络之间的第一交互网络、位于所述噪声分支网络和所述语音分支网络之间的第二交互网络。