[发明专利]发言人检测系统、发言人检测方法和音频/视频会议系统

说明书

一种发言人检测系统可以包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。本发明还描述了一种相应的发言人检测方法以及一种合并了该发言人检测系统的音频/视频会议系统。

技术领域

本发明公开了一种用于在音频/视频会议中检测发言人的系统、方法以及一种音频/视频会议系统。

背景技术

在现代的商业组织和家庭中，音频/视频会议已经变得非常普遍。在音频/视频会议中，当发言人在讲话时，人们往往希望获得发言人的图像和/或身份信息。尤其对于视频会议而言，在会场上突出显示发言人的视频信息，能够使得视频会议具有与面对面会议相似的现场感受。

当前流行的视频会议系统通常首先通过声音定位找出发言人的方向，然后从图像中检测离该方向最近的人脸，如果找到人的面部，就将其视为发言人的面部。

发明内容

然而，上述的现有技术具有两个重要的缺点：

首先，被会议室的桌子、墙壁、天花板等反射的声学回声往往会干扰声音定位并降低其准确度。

其次，当会议室中相对拥挤时，有时会有许多面部靠近声音的方向，仅通过面部识别等技术将无法准确确认哪个面部属于真正的发言人。

因此，希望提供一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统。也希望提供一种基于视觉语音活动检测和声学语音活动检测的发言人检测方法。还希望将这些系统合并到音频/视频会议系统中。

根据本发明的第一方面，所述发言人检测系统可以包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。

本发明的另一个目标是提供一种基于视觉语音活动检测和声学语音活动检测的发言人检测方法。

根据本发明的第二方面，所述发言人检测方法包括：获取多个与会者的视频信息；获取音频/视频会议的音频信息；对所述视频信息中的所述多个与会者的每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者的每一个的视觉语音活动检测信号；并对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。

本发明的又一目标是提供一种音频/视频会议系统。

根据本发明的第三方面，所述音频/视频会议系统包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。