[发明专利]信号增强方法、模型训练方法、装置、设备、音箱及介质

说明书

本公开提供了一种信号增强方法、模型训练方法、装置、设备、音箱及介质。所述信号增强方法包括：获得待增强语音信号、线性回声消除信号和参考信号，其中，所述待增强语音信号包括所述参考信号的回声信号，所述线性回声消除信号是根据所述参考信号对所述待增强语音信号进行线性回声消除后得到的信号；将所述线性回声消除信号的幅度谱、所述参考信号的幅度谱和所述待增强语音信号的幅度谱，输入到预先训练的信号增强模型，得到所述待增强语音信号对应的增强语音信号的幅度谱掩码；根据所述幅度谱掩码和所述待增强语音信号，获得所述增强语音信号。

技术领域

本公开总体说来涉及音频技术领域，更具体地讲，涉及一种信号增强方法、模型训练方法、装置、设备、音箱及介质。

背景技术

语音增强算法在实时通信领域与语音识别领域有着广泛的应用。语音增强的目的是为了提高语音在复杂噪声环境下的信噪比和可懂度，从而提升人与人交流以及人与机器交互的体验。而在语音增强技术中，声学回声消除和噪声抑制又是其中重要的组成部分。目前常见的解决方案是基于传统信号处理的声学回声消除和噪声抑制。传统的方法能够在一定程度上提升语音信号的信噪比，但在愈发复杂的应用场景和噪声环境下，例如低信噪比的非稳态噪声环境下和低信回比的回声场景下，传统信号处理往往难以有效地降低噪声和回声。

发明内容

本公开的示例性实施例在于提供一种信号增强方法、模型训练方法、装置、设备、音箱及介质，其能够有效进行回声消除，且尽可能减少处理过程中所带来的语音失真。

根据本公开实施例的第一方面，提供一种信号增强方法，包括：获得待增强语音信号、线性回声消除信号和参考信号，其中，所述待增强语音信号包括所述参考信号的回声信号，所述线性回声消除信号是根据所述参考信号对所述待增强语音信号进行线性回声消除后得到的信号；将所述线性回声消除信号的幅度谱、所述参考信号的幅度谱和所述待增强语音信号的幅度谱，输入到预先训练的信号增强模型，得到所述待增强语音信号对应的增强语音信号的幅度谱掩码；根据所述幅度谱掩码和所述待增强语音信号，获得所述增强语音信号。

可选地，将所述线性回声消除信号的幅度谱、所述参考信号的幅度谱和所述待增强语音信号的幅度谱，输入到预先训练的信号增强模型，得到所述待增强语音信号对应的增强语音信号的幅度谱掩码的步骤包括：将所述线性回声消除信号的幅度谱、所述参考信号的幅度谱和所述待增强语音信号的幅度谱，输入到所述信号增强模型中彼此交叉的第一分支和第二分支，得到第一分支输出的所述增强语音信号的幅度谱掩码，其中，第一分支包括：N层卷积神经网络、M层门控循环单元网络、一层全连接层和一层输出层，第二分支包括：N层卷积神经网络和M-1层门控循环单元网络，其中，N和M为大于1的整数。

可选地，在每个分支中，第N-1层卷积神经网络的输出分别作为该分支和另一分支中的第N层卷积神经网络的输入，其中，第一分支中的第M-1层门控循环单元网络的输出和第二分支中的第M-1层门控循环单元网络的输出均作为第一分支中的第M层门控循环单元网络的输入。

可选地，第一分支中的M层门控循环单元网络的输出均作为第一分支中的全连接层的输入。

可选地，根据所述幅度谱掩码和所述待增强语音信号，获得所述增强语音信号的步骤包括：将所述幅度谱掩码和所述待增强语音信号的幅度谱相乘，获得所述增强语音信号的幅度谱；将所述增强语音信号的幅度谱与所述待增强语音信号的相位谱结合并对结合结果执行时频逆变换，获得所述增强语音信号。

可选地，获得所述线性回声消除信号的步骤包括：预测所述待增强语音信号与所述参考信号之间的延迟，并基于预测的延迟获取与所述待增强语音信号对齐后的参考信号；根据所述对齐后的参考信号，对所述待增强语音信号进行线性回声消除，得到所述线性回声消除信号。