[发明专利]一种基于深度学习的双通道声源定位方法

说明书

本发明公开了一种基于深度学习的双通道声源定位方法，包括：对左通道和右通道的麦克风拾取数据分别进行分帧、加窗和傅里叶变换，得到第一通道和第二通道的时频域拾取信号；利用深度学习从时频域拾取信号和其对应的时频域直达声信号中估计出相位敏感掩蔽，利用相位敏感掩蔽指导声源方向信息的估计，利用相位敏感掩蔽计算方向信息估计的准确性，利用深度学习从估计的方向信息和方向信息估计准确性中获得方向信息增强值，利用增强后的方向信息与方向信息估计的准确性构建加权直方图，最终选取直方图峰值所对应的方向作为声源方向。本发明从双通道麦克风拾取数据中估计出声源的方向，充分利用神经网络的泛化能力，对噪声混响环境具有更好的鲁棒性。

技术领域

本发明涉及声源定位技术领域，尤其涉及一种基于深度学习的双通道声源定位方法。

背景技术

目前，声源定位技术主要是从麦克风阵列拾取的含有背景噪声和混响的数据中估计声源的方位，从而在声源分离、声源跟踪等方面取得更好的表现。在以方位为输出的声源定位技术中，通过利用信号空间与噪声空间的正交性可以估计出声源的方位，但是这类算法在混响存在时性能下降明显。利用深度学习，可以更好的提升算法在噪声及混响存在时的鲁棒性。大多数基于深度学习的声源定位算法把声源定位当作一个分类问题，利用神经网络从划分好的区域中估计声源的位置。这种算法定位准确度与区域划分有关，且定位精度需求改变时，神经网络需要重新训练。

发明内容

本发明的目的在于，解决现有声源定位技术存在的上述缺陷。

为达到上述目的，本发明公开了一种基于深度学习的双通道声源定位方法，包括步骤：

对每个通道的麦克风拾取数据分别进行分帧、加窗和傅里叶变换，得到每通道的时频域拾取信号；双通道时频域信号中包含声源位置的信息；

对第一通道的时频域拾取信号的对数功率谱和通道间相位差进行组合得到第一通道的输入特征；对第二通道的时频域拾取信号的对数功率谱和通道间相位差进行组合得到第二通道的输入特征；

利用第一通道的时频域拾取信号和其对应的时频域直达声信号计算得到第一通道的相位敏感掩蔽估计值；利用第二通道的时频域拾取信号和其对应的时频域直达声信号计算得到第二通道的相位敏感掩蔽估计值；

使用每一通道的输入特征和其对应的理论相位敏感掩蔽对神经网络进行训练得到相位敏感掩蔽的估计模型；

将第一通道的输入特征作为估计模型的输入，输出第一通道的相位敏感掩蔽估计值；将第二通道的输入特征作为概率估计模型的输入，输出第二通道的相位敏感掩蔽的估计值；

使用每一通道时频域拾取信号和每一通道时频域相位敏感掩蔽估计值一起计算语音协方差矩阵；

对语音协方差矩阵进行特征值分解，获取其主特征向量作为声源的导向矢量；

对导向矢量的两个元素取其相角差作为方向信息；

利用两通道相位敏感掩蔽估计值计算每个时频点方向信息估计准确性；

利用声源到达麦克风的时间差计算两个麦克风拾取数据的理想相位差作为目标方向信息；

使用方向信息、方向信息估计准确性和目标方向信息对神经网络进行训练得到方向信息增强模型；

将方向信息和方向信息估计准确性作为方向信息增强模型的输入，输出为增强的方向信息；

使用增强的方向信息在每个时频点处计算声源方向；

利用方向特征估计准确性和所有时频点处的方向信息构建加权统计直方图。

利用加权直方图，选取统计结果最大的方向作为声源方向。

优选地，对每个通道的麦克风拾取数据分别进行分帧、加窗和傅里叶变换的具体步骤为：