[发明专利]发言人检测系统、发言人检测方法和音频/视频会议系统

摘要

一种发言人检测系统可以包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人。本发明还描述了一种相应的发言人检测方法以及一种合并了该发言人检测系统的音频/视频会议系统。

主权项

1.一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统，包括：摄像机，用于获取多个与会者的视频信息；麦克风，用于获取音频/视频会议的音频信息；处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人；其中所述视觉语音活动为所述多个与会者中每一个的嘴唇运动，且其中：所述处理模块对所述多个与会者中每一个分别进行独立的视觉语音活动检测，所述处理模块通过嘴唇颜色与脸部颜色的差异来获得嘴唇轮廓，并基于上下唇和上下唇之间的间隙在亮度和/或颜色上的差异来确定嘴唇轮廓范围内该间隙的面积，当该面积在视频的连续帧中的差异超过预设的阈值时，该嘴唇的视觉语音活动检测信号的输出为“1”，否则，该嘴唇的视觉语音活动检测信号的输出为“0”；所述处理模块通过检测所述音频信息来获得所述声学语音活动检测信号；当音频信息中存在语音时，所述声学语音活动检测信号的输出为“1”，否则，所述声学语音活动检测信号的输出为“0”。