[发明专利]基于知识蒸馏的视频多线索社交关系抽取方法及装置

说明书

本发明提出一种基于知识蒸馏的视频多线索社交关系抽取方法及装置，其中方法包括，获取待训练无约束场景视频的视频帧序列；将视频帧序列通过预先训练好的教师模型进行预处理，提取软目标；将视频帧序列输入到学生模型中，获取场景特征和语义特征，同时通过余弦损失函数进行同步训练以拉近场景特征和语义特征与软目标的距离；其中，所述学生模型包括场景识别模型和语义分析模型；将场景特征和语义特征通过多层注意力网络以及卷积层和池化层进行特征提取并进行融合，将融合后的特征、场景特征、语义特征进行分段并作为三类节点进行构图；将构图后的节点特征通过图卷积网络作聚合，并经过分类器作分类，生成视频多线索社交关系提取框架。

技术领域

本发明属于计算机应用领域。

背景技术

随着网络社交平台和多媒体技术的蓬勃发展，丰富的视频内容吸引了大量用户观看，视频也在逐渐成为人们记录生活、传播生活的主流模式，交互类型的视频数据数量因此大规模增长。当今时代，以视频为代表的动态多媒体已经占据了互联网流量的主导地位。视频语义分析和内容理解在实际应用中需求迫切，因而逐渐成为计算机应用领域的一个研究热点。视频数据提供了更丰富的时间序列以及多模态线索。与静态图片相比，多媒体数据在形式上多源异构，语义上相互关联，对人工智能、深度学习算法带来了新的挑战。如何抽取视频人物关系和理解视频内容，已经成为推动社会智能化发展的一个方向，也是研究者们关注的热点之一。

作为多媒体内容理解中的一个关键问题，视频中的人物社交关系提取任务对于进一步的人物关系分析，如人物行为和情感分析等至关重要。它在公共安全监控、视频内容理解、社会网络分析和视觉质量保证等领域具有巨大的社会和商业价值。因此，如何高效抽取视频中的社交关系是一个十分关键的问题。

我们人类可以比较容易地通过一些综合线索来识别人物或推断他们之间的社交关系，例如他们的外貌、互动、对话、服装风格和背景，但对于人工智能来说，通过学习视频的众多线索来自动捕捉人物的社交关系仍然是一项具有挑战性的任务。为了解决这个艰巨的任务，人们在关系提取方面做了大量工作，其动机各不相同。大多数的工作关注视频的时空特征，通过对特征的融合关注到不同的视频语义信息，关系抽取的效果依赖于特征的优劣。还有一些工作通过构图建模人物之间的联系，但是大多只关注到单层次的视觉线索，并且处理过程及整体模型十分复杂，对于应用来说并不友好。

此外，目前的工作主要集中在提取整个视频片段的社交关系。例如，一些工作旨在标记视频片段中的一般关系，将一个片段中许多人物的关系视为相同。在这种情况下，视频中多个人物之间不同的关系或随时间变化的复杂关系可能被忽略。与社交关系最相关的视频语义信息，通常需要借助人工标注的相关信息和大规模模型才能获得最好的效果，然而，大多数视频可能存在频繁变化的人物和场景以及复杂的关系描述形式，对于人工预处理和计算资源是一个极其沉重的负担。因此，迫切需要在无约束场景的视频数据下更加通用并简单的解决方案，以提供更丰富的语义线索来增强视觉信息，从而更好地实现现实世界的应用。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种基于知识蒸馏的视频多线索社交关系抽取方法，用于在无约束场景的视频数据下提供更丰富的语义线索来增强视觉信息。

本发明的第二个目的在于提出一种基于知识蒸馏的视频多线索社交关系抽取装置。

为达上述目的，本发明第一方面实施例提出了一种基于知识蒸馏的视频多线索社交关系抽取方法，包括：

获取待训练无约束场景视频的视频帧序列；

将所述视频帧序列通过预先训练好的教师模型进行预处理，提取软目标；

将所述视频帧序列输入到学生模型中，获取场景特征和语义特征，同时通过余弦损失函数进行同步训练以拉近所述场景特征和语义特征与所述软目标的距离；其中，所述学生模型包括场景识别模型和语义分析模型；