[发明专利]一种基于视频信息辅助的目标语音提取方法

权利要求书

1.一种基于视频信息辅助的目标语音提取方法，其特征在于，包括：

利用带摄像头的传声器阵列系统获取视频信息和语音信号；所述语音信号由所述传声器阵列系统中的传声器阵元采集得到；所述视频信息由所述传声器阵列系统中的摄像头采集得到；所述视频信息包括潜在说话人的空间方位信息；

利用不同间距的两个传声器阵元组成多组阵元对，将语音信号在频域划分为频率连续的多个频带；结合所述潜在说话人的空间方位信息，根据不同间距的传声器阵元对估计所述多个频带范围内各个频点接收信号中目标语音的直达混响比；

结合所述潜在说话人的空间方位信息，对所述语音信号的频域信号进行波束形成预处理；利用所述波束形成预处理前后频域信号的能量比值和所述各个频点接收信号中目标语音的直达混响比确定所述各个频点接收信号中目标语音的存在概率；

结合所述潜在说话人的空间方位信息，至少根据所述各个频点接收信号中目标语音的直达混响比、所述各个频点接收信号中目标语音的存在概率，构建混合式最小均方无畸变响应波束形成器。

2.根据所述权利要求1所述的方法，其特征在于，还包括，利用所述混合式最小均方无畸变响应波束形成器对所述语音信号的频域信号进行滤波，得到目标语音的频域信号。

3.根据所述权利要求2所述的方法，其特征在于，还包括，对所述目标语音的频域信号进行逆短时傅里叶变换得到时域信号；对所述时域信号进行加窗及平滑处理，得到目标语音的时域信号。

4.根据所述权利要求1所述的方法，其特征在于，所述利用所述波束形成预处理前后频域信号的能量比值确定所述各个频点接收信号中目标语音的存在概率之前，还需要将所述能量比值进行修正得到新的能量比值；所述修正用于抵消目标语音能量伴随频率升高而导致的衰减误差。

5.根据所述权利要求1所述的方法，其特征在于，还包括，

所述视频信息还包括干扰声源的空间方位信息；根据干扰声源的导向矢量构造数据无关协方差矩阵；所述干扰声源的导向矢量根据所述干扰声源的空间方位信息和所述传声器阵列系统中传声器阵元之间的间距确定；

根据所述干扰声源的空间方位信息对所述语音信号的频域信号进行对角加载的超指向性固定波束预处理，得到干扰声源方向的波束输出信号；所述干扰声源方向根据所述潜在干扰声源的空间方位信息确定；

根据所述干扰声源方向的波束输出信号和所述数据无关协方差矩阵，构造新的噪声协方差矩阵；

根据所述语音信号的频域信号构造数据相关协方差矩阵；所述数据相关协方差矩阵不考虑所述潜在说话人的空间方位信息和所述干扰声源的空间方位信息。

6.根据所述权利要求1、5所述的方法，其特征在于，所述至少根据所述各个频点接收信号中目标语音的直达混响比、所述各个频点接收信号中目标语音的存在概率构建混合式最小均方无畸变响应波束形成器，包括，

根据所述各个频点接收信号中目标语音的直达混响比、所述各个频点接收信号中目标语音的存在概率，计算混合协方差矩阵的混合系数、对角加载系数；

根据所述数据相关协方差矩阵、所述新的噪声协方差矩阵、所述混合协方差矩阵的混合系数按照加权算法构造混合式噪声协方差矩阵；

根据所述对角加载系数和所述混合式噪声协方差矩阵构造对角加载的噪声协方差矩阵；

结合所述潜在说话人的空间方位信息，根据所述对角加载的噪声协方差矩阵构建所述混合式最小均方无畸变响应波束形成器。

7.根据所述权利要求6所述的方法，其特征在于，所述计算混合协方差矩阵的混合系数，包括，

根据将混响强度分界的第一参数、第二参数与所述各个频点接收信号中目标语音的直达混响比的比较关系，确定混合协方差矩阵的混合系数的计算形式；利用所述各个频点接收信号中目标语音的直达混响比、所述各个频点接收信号中目标语音的存在概率，按照所述计算形式确定混合协方差矩阵的混合系数；

所述将混响强度分界的第一参数和第二参数根据经验值确定。