[发明专利]结合多种运动分析的话者角色区分方法及系统

说明书

结合多种运动分析的话者角色区分方法及系统，方法包括：步骤1：分割视频，分割后得到音频信息和视频信息；步骤2：音频信息分析；步骤3：视频信息分析；步骤4：音视频融合分析划分话者角色，匹配步骤2和步骤3两种分析结果的时间节点得到角色划分结果。一方面利用音频信息，提取音频特征，并基于音频特征进行说话人转换检测用于话者角色区分；另一方面利用视频信息，分析视频中说话人的头部状态、口罩和嘴巴状态，对视频中人说话的起始时间进行判断；最后融合两种检测结果得到更准确的角色区分结果。本发明能完成对待稽核视频的采集存储，同时完成对视频的话者角色区分，高效精准。

技术领域

本申请涉及音视频分析技术领域，尤其是涉及结合多种运动分析的话者角色区分方法及系统。

背景技术

在智能双录、视频会议、医疗系统等领域，为了更好的分析有哪些人参与了说话，这些人都说了什么，需要先进行说话人（简称话者）角色区分。一旦进行了角色区分，就可以利用语音识别技术分析和理解话者的说话内容，从而判断是谁说了什么话。单纯基于音频分析的话者角色区分方法，在话者说话时间较短，无法提供足够的声纹信息时，会导致区分失败。而从视频图像上，话者说话的时候，嘴巴状态发生变化，这个变化很容易被视觉算法捕捉到。人与人之间相处时经常需要佩戴口罩，这就给嘴巴状态分析带了困扰。此外，当说话人脸部背对摄像头时也无法分析嘴巴状态。

通过大量的视频分析，我们发现当人在说话的时候，根据说话内容有可能做出摇头、点头、转头等动作，同时，即使佩戴着口罩或者其他遮挡物，说话的时候，嘴巴的运动也会引起口罩的运动。因此，综合分析头部状态、口罩和嘴巴运动状态，我们也可以较可靠地判断该人是否处于说话状态。当然，头部发生运动的时候不代表人一定处于说话状态，我们使用置信度来表示发生该运动时人说话的概率，并结合优先分析嘴巴，口罩次之，头部再次之的方式来得到随时间的说话置信度曲线。

上述中的相关现有技术存在以下缺陷：若单纯的依靠音频分析技术进行话者角色划分，如果话者说话时间较短，无法提供足够的声纹信息时，会导致区分失败现象；若单纯的依靠视频，那么要求整个过程中话者脸部（尤其是嘴巴）不能被遮挡，否则会区分失败。

发明内容

为了解决现有技术中单纯采用音频分析技术或视频分析技术进行视频中的话者角色划分都会存在区分失败的问题，本申请提供结合多种运动分析的话者角色区分方法及系统，采用如下的技术方案：

结合多种运动分析的话者角色区分方法，包括以下步骤：

步骤1：分割视频，分割后得到音频信息和视频信息；

步骤2：音频信息分析，截取音频信息中出现语音特征的语音片段，记录所述语音片段的时间节点用于角色区分；

步骤3：视频信息分析，跟踪分析视频信息中各角色的说话特征信息，所述说话特征信息包括头部状态信息、口罩信息和嘴巴状态信息，跟踪视频信息中对应角色识别符合说话特征类的起始时间节点；

步骤4：音视频融合分析划分话者角色，匹配步骤2和步骤3两种分析结果的时间节点得到角色划分结果。

通过采用上述技术方案，首先将视频分割成音频信息和视频信息，然后对于音频信息，截取音频信息中出现语音特征的语音片段，记录所述语音片段的时间节点；

对于视频信息分析，跟踪分析视频信息中各角色的头部状态信息、口罩信息和嘴巴状态信息，检测视频信息中对应角色识别符合说话特征的起始时间节点，最后匹配音频信息和视频信息两种分析结果的时间节点得到角色划分结果。

可选的，所述步骤2采用以下方法具体进行音频信息分析：

Step1：语音检测，采用语音检测模型将所述音频信息帧分为语音部分和非语音部分两类；首先对音频信息进行预处理，包括分帧、降噪，然后利用双门限法、谱分析方法、或者相关法等语音检测方法得到语音部分，避免非语音部分或者噪声对后续步骤的影响；