[发明专利]一种基于视频信息辅助的目标语音提取方法

说明书

本申请提供一种基于视频信息辅助的目标语音提取方法，包括：利用带摄像头的传声器阵列系统获取视频信息和语音信号；视频信息包括潜在说话人的空间方位信息；利用不同间距的两个传声器阵元组成多组阵元对，将语音信号在频域划分为频率连续的多个频带；结合潜在说话人的空间方位信息，估计多个频带范围内各个频点接收信号中目标语音的直达混响比；对语音信号的频域信号进行波束形成预处理，利用预处理前后频域信号的能量比值和目标语音的直达混响比确定目标语音的存在概率，并至少基于以上信息构建混合式MVDR波束形成器。该方法结合视频辅助信息，利用阵列信号处理技术构建混合式MVDR波束形成器，可以在提取目标语音的同时提高对干扰的抑制效果。

技术领域

本申请涉及语音数据处理技术领域，尤其涉及一种基于视频信息辅助的目标语音提取方法。

背景技术

目前，常用的传声器阵列系统根据传声器信号，进行声源定位、波束形成等用于提取目标语音信号。根据波束形成器系数是否依赖数据本身，常用的传声器阵列波束形成器可以分为固定波束形成器和自适应波束形成器。固定波束形成器具有运算量低、鲁棒性高的特点，但对干扰抑制能力有限；自适应波束形成器可以在干扰声源处形成较强的零陷，从而有效抑制干扰，但它存在运算量大、鲁棒性差等问题。

为了在实际应用中提高自适应波束形成的鲁棒性，常见的改进方法包括对角加载方法以及噪声协方差矩阵重建方法。在实际应用中多采用经验值的方法来给出对角加载系数，但对角加载量过多则会影响对干扰的抑制效果，加载量过少则会导致存在“自消”现象。也可以在传声器阵列中使用重建噪声协方差矩阵的方法来减少协方差矩阵中的目标信号成分，但该方法需要对全空间进行扫描并计算各个方向的功率输出，计算量巨大，在实际应用中对硬件要求非常高。

因此，传统的自适应波束形成方法在实际应用中存在一定的局限性。

发明内容

随着智慧大屏、智能眼镜等具有摄像头的通信系统普及，越来越多的音、视频融合方法可以更好地提高波束形成性能。本申请提出一种基于视频信息辅助的目标语音提取方法，可以有效提取目标语音并抑制其他干扰和混响。

本申请提供了一种基于视频信息辅助的目标语音提取方法，包括：

利用带摄像头的传声器阵列系统获取视频信息和语音信号；所述语音信号由所述传声器阵列系统中的传声器阵元采集得到；所述视频信息由所述传声器阵列系统中的摄像头采集得到；所述视频信息包括潜在说话人的空间方位信息；

利用不同间距的两个传声器阵元组成多组阵元对，将语音信号在频域划分为频率连续的多个频带；结合所述潜在说话人的空间方位信息，根据不同间距的传声器阵元对估计所述多个频带范围内各个频点接收信号中目标语音的直达混响比；

结合所述潜在说话人的空间方位信息，对所述语音信号的频域信号进行波束形成预处理；利用所述波束形成预处理前后频域信号的能量比值和所述各个频点接收信号中目标语音的直达混响比确定所述各个频点接收信号中目标语音的存在概率；

结合所述潜在说话人的空间方位信息，至少根据所述各个频点接收信号中目标语音的直达混响比、所述各个频点接收信号中目标语音的存在概率，构建混合式最小均方无畸变响应波束形成器。

在一种可能的实施方式中，该目标语音提取方法还包括，利用所述混合式最小均方无畸变响应波束形成器对所述语音信号的频域信号进行滤波，得到目标语音的频域信号。

在一种可能的实施方式中，该目标语音提取方法还包括，对所述目标语音的频域信号进行逆短时傅里叶变换得到时域信号；对所述时域信号进行加窗及平滑处理，得到目标语音的时域信号。

在一种可能的实施方式中，利用所述波束形成预处理前后频域信号的能量比值确定所述各个频点接收信号中目标语音的存在概率之前，还需要将所述能量比值进行修正得到新的能量比值；所述修正用于抵消目标语音能量伴随频率升高而导致的衰减误差。