[发明专利]一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统

说明书

本发明涉及一种融合骨振动传感器和双麦克风信号的深度学习降噪方法及系统，包括基频和声纹特征提取模块，空间方位特征提取模块以及深度神经网络的融合模块，方法包括从骨振动传感器信号中提取声音基频和声纹特征；利用主、次麦克风信号提取出声音源的空间方位特征；将这些特征融合送入深度神经网络模块；通过深度神经网络模块预测得到降噪语音。本发明利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为低频输入信号，与双麦克信号一同送入深度神经网络进行整体降噪、融合，同时提取信号空间方位特征，和从骨振动传感器提取出的说话者的基频，声纹特征。从而得到优质的低频信号，极大提高深度神经网络预测的准确性，使得降噪效果更佳。

技术领域

本发明涉及深度学习、语音信号处理、语音降噪技术领域，更具体地说，涉及一种融合骨振动传感器和双麦克风信号的深度学习降噪方法。

背景技术

语音降噪技术是指从带噪语音信号中分离出语音信号，该技术拥有广泛的应用，通常有单麦克风降噪技术和多麦克风降噪技术，传统的单双麦降噪技术很难实现性能的突破，难以满足人们在地铁，马路，机场，咖啡厅等日常超级嘈杂环境中清晰的通话要求。

传统多麦克风降噪技术需要两个及以上麦克风，利用波束形成技术的降噪方案。传统多麦克风通话降噪技术存在以下缺陷：

1、传统多麦对麦克风的一致性要求高，一定程度上会限制产线的良品率；

2、多麦克降噪技术依靠方向信息进行降噪，无法抑制来自于目标人声方向的噪音。

本专利结合了骨振动传感器及双麦克风的信号，采用深度学习降噪技术，在各种噪声环境下，实现提取目标人声，降低干扰噪声。该技术可应用于耳机、手机等贴合耳部的通话场景。

相比于仅采用一个或多个麦克风降噪的技术，结合骨振动传感器可在信噪比极低的环境下，诸如：地铁、风噪等场景，依然可以保持良好的通话体验。

相比传统单麦克风降噪技术，本技术不对噪声做任何假设(传统单麦风降噪技术预先假设噪声为平稳噪声)，利用深度神经网络强大的建模能力，有很好的人声还原度及极强的噪声抑制能力，可以解决复杂噪声场景下的人声提取问题。

不同于其他结合骨震动传感器及气导麦克风降噪方式仅利用骨震动传感器信号作为激活检测的标志，本技术利用骨振动传感器信号不受气导噪声干扰的特性，将骨传信号作为输入信号，与双麦克风信号一同送入深度神经网络进行整体降噪、融合。同时送入神经网络的还有从主麦克风和次麦克风提取出来的信号空间方位特征，和从骨振动传感器提取出来的说话者的基频，声纹特征。借助骨振动传感器，我们能够得到优质的低频信号，并以此为基础，极大地提高深度神经网络预测的准确性，使得降噪效果更佳。

相对传统单麦降噪技术，本专利采用双麦克风作为输入，极大提高了降噪的效果。因此具有鲁棒性强、成本可控、对产品结构设计要求低等特点，第三部分背景技术已有详细描述，在此不赘述；

相比本申请人之前提交的《一种融合骨振动传感器和麦克风信号的深度学习语音提取和降噪方法》(申请号：201910953534.9)，本专利引入了主麦克风和次麦克风的双麦风阵列，并且将基频，声纹特征，信号空间方位特征，主麦克风信号，次麦克风信号，骨振动传感器信号同时融合到深度神经网络，从而得到性能更优的降噪效果，满足噪声极度恶劣的应用场合。

相比本申请人之前提交的《近距离交谈场景下双麦克风移动电话的实时语音降噪方法》(申请号：201910945319.4)，本专利引入了骨振动传感器作为补充，利用骨振动传感器不受空气噪音干扰的特性，并且可以提取出更高精度的声音基频和声纹特征。将骨振动传感器信号与气导麦克风信号，声音基频，声纹特征，信号空间方位特征使用深度神经网络融合，达到了在极低信噪比下也能有理想的降噪效果。