[发明专利]发言人检测系统、发言人检测方法和音频/视频会议系统

权利要求书

1.一种基于视觉语音活动检测和声学语音活动检测的发言人检测系统，包括：

摄像机，用于获取多个与会者的视频信息；

麦克风，用于获取音频/视频会议的音频信息；

处理模块，配置为对所述视频信息中的所述多个与会者中每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者中每一个的视觉语音活动检测信号；并配置为对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；

比较模块，用于将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人；

其中所述视觉语音活动为所述多个与会者中每一个的嘴唇运动，且其中：

所述处理模块对所述多个与会者中每一个分别进行独立的视觉语音活动检测，所述处理模块通过嘴唇颜色与脸部颜色的差异来获得嘴唇轮廓，并基于上下唇和上下唇之间的间隙在亮度和/或颜色上的差异来确定嘴唇轮廓范围内该间隙的面积，当该面积在视频的连续帧中的差异超过预设的阈值时，该嘴唇的视觉语音活动检测信号的输出为“1”，否则，该嘴唇的视觉语音活动检测信号的输出为“0”；

所述处理模块通过检测所述音频信息来获得所述声学语音活动检测信号；当音频信息中存在语音时，所述声学语音活动检测信号的输出为“1”，否则，所述声学语音活动检测信号的输出为“0”。

2.根据权利要求1所述的系统，所述系统进一步包括显示模块，用于显示被确定为当前发言人的与会者。

3.根据权利要求2所述的系统，所述系统进一步包括存储模块，用于存储所有与会者的身份信息；在该音频/视频会议期间，每当确定出当前发言人时，识别当前发言人并向所述显示模块提供与当前发言人相应的与会者的身份信息。

4.根据权利要求3所述的系统，其中所述系统在该音频/视频会议期间，每当确定出当前发言人时，在音频流和/或视频流中标识与当前发言人相应的与会者的身份信息。

5.一种基于视觉语音活动检测和声学语音活动检测的发言人检测方法，包括：

获取多个与会者的视频信息；

获取音频/视频会议的音频信息；

对所述视频信息中的所述多个与会者的每一个的视觉语音活动分别进行检测，以生成针对所述多个与会者的每一个的视觉语音活动检测信号；并对所述音频信息中的声学语音活动进行检测，以生成声学语音活动检测信号；

将所述视觉语音活动检测信号分别与所述声学语音活动检测信号进行比较，并将与所述声学语音活动检测信号具有最大相关度的视觉语音活动检测信号所对应的与会者确定为当前发言人；

其中所述视觉语音活动为所述多个与会者中每一个的嘴唇运动，且其中：

对所述多个与会者中每一个分别进行独立的视觉语音活动检测，通过嘴唇颜色与脸部颜色的差异来获得嘴唇轮廓，并基于上下唇和上下唇之间的间隙在亮度和/或颜色上的差异来确定嘴唇轮廓范围内该间隙的面积，当该面积在视频的连续帧中的差异超过预设的阈值时，该嘴唇的视觉语音活动检测信号的输出为“1”，否则，该嘴唇的视觉语音活动检测信号的输出为“0”；

通过检测所述音频信息来获得所述声学语音活动检测信号；当音频信息中存在语音时，所述声学语音活动检测信号的输出为“1”，否则，所述声学语音活动检测信号的输出为“0”。

6.根据权利要求5所述的方法，进一步包括使用显示模块显示被确定为当前发言人的与会者。

7.根据权利要求6所述的方法，进一步包括存储所有与会者的身份信息；在该音频/视频会议期间，每当确定出当前发言人时，识别当前发言人并向所述显示模块提供与当前发言人相应的与会者的身份信息。

8.根据权利要求7所述的方法，包括在该音频/视频会议期间，每当确定出当前发言人时，在音频流和/或视频流中标识与当前发言人相应的与会者的身份信息。

9.一种音频/视频会议系统，所述音频/视频会议系统包括如权利要求1-4中任一项所述的基于视觉语音活动检测和声学语音活动检测的发言人检测系统。