[发明专利]基于跨模态自监督学习的主动说话人识别方法

说明书

本发明提供一种基于跨模态自监督学习的主动说话人识别方法，通过利用视频的同步性特征来自动划分正负样本对用于训练，使得模型能够在无需人工标注的情况下训练至合适的参数，进一步，采用光流法追踪像素点在时间维度上的运动轨迹，通过计算轨迹上的注意力值的平均值可以得到整合后的注意力图，在注意力图上寻找注意力峰值的同时对其周围的区域进行非极大值抑制，能够方便准确地获取单帧注意力图上的人脸位置，通过沿着光流的轨迹反向投影，可准确获得原图中每一帧图片的人脸位置，通过利用人脸特征可计算与音频信号的余弦相似度，用预定的阈值过滤，从而获得能够对主动说话人图像以及非主动说话人图像同时进行高精度识别的主动说话人识别模型。

技术领域

本发明属于计算机视觉以及语音识别技术领域，具体涉及一种基于跨模态自监督学习的主动说话人识别方法。

背景技术

主动说话人识别是视频分析算法中的一个重要组成部分，该任务通过分析微小的面部运动和相应的语音波形，在一组可能的候选人中识别出主动说话者。主动说话人识别是大量后续任务的必要基础，比如说话人分类、会议视频重定位、语音增强和人机交互等应用，主要依据视频帧中的人物面部特征和当前音频中人物声音特征的相似程度来区分识别。若人物面部特征和人物声音特征的相似度超过特定阈值，则当前声音由该人物发出，并称其为主动说话人，反之则为非主动说话人。

近年来，随着深度学习的不断发展，尤其是卷积神经网络在目标识别上的优异表现，使得越来越多的目标识别任务能够实现高效自动化。一些研究已将卷积神经网络应用于主动说话人识别的任务中。

然而，目前的主动说话人识别模型对数据标注的依赖性较强，仅仅利用人工标注的正负图像样本进行训练。在现实情况中，由于网络社交平台的兴起，网络上大量的视频内容可以作为实验数据，但人力资源有限无法标注，一般的主动说话人识别模型无法利用这些天然可用的数据样本。与此同时，由于拍摄仪器、光照、技术等原因，可能出现人工难以辨别主动说话人的视频图像，如人物面部过小、人脸模糊或人脸密集等较难辨认的图像，一般的主动说话人识别模型很难在这些样本上具有强泛化与高精度的识别表现。

发明内容

本发明是为解决上述问题而进行的，目的在于提供一种无需人工标注且能够对识别难度相对较大的图像完成精确识别的主动说话人识别方法，本发明采用了如下技术方案：

本发明提供了一种基于跨模态自监督学习的主动说话人识别方法，其特征在于，包括以下步骤：

步骤S1，利用训练数据对主动说话人识别模型进行跨模态自监督学习，获得合适的模型参数；

步骤S2，将待测视频输入训练完成的所述主动说话人识别模型，得到所述待测视频的主动说话人识别结果，

其中，步骤S2中，主动说话人识别模型通过如下步骤进行识别：

步骤S2-1，提取所述待测视频的视觉特征和听觉特征，并基于所述视觉特征和所述听觉特征计算所述待测视频中每帧图像的注意力图；

步骤S2-2，采用光流法融合所述注意力图，提取每帧所述注意力图的密度光流值，并将所述密度光流值进行链接，得到光流轨迹，并对所述光流轨迹上的注意力得分进行平均；

步骤S2-3，寻找所述注意力图中的峰值点，并采用非极大值抑制法去除干扰项；

步骤S2-4，将找到的所述峰值点沿所述光流轨迹反向投影到每帧所述图像，从而定位各帧所述图像中的人脸位置；

步骤S2-5，计算所述人脸位置的所述视觉特征和所述听觉特征的余弦相似度，当该余弦相似度大于预定的阈值时，判定所述人脸位置对应于主动说话人。

本发明提供的基于跨模态自监督学习的主动说话人识别方法，还可以具有这样的技术特征，其中，步骤S1中，利用视频的同步性特征构建所述训练数据。