[发明专利]一种跨模态语义关联的视频情感分析方法

说明书

一种跨模态语义关联的视频情感分析方法，属于自然语言处理领域。围绕主观性视频数据在情感分析中存在的跨模态语义鸿沟问题，提出语义引导机制，该机制利用对比学习和度量学习，通过拉近情感副模态与情感主模态的距离，使副模态向主模态靠近，从而加强情感主模态与副模态之间的语义关联，缓解视频数据中的跨模态语义鸿沟问题。基于多流和单流两种跨模态模型，分别引入语义引导机制，设计与主流模型的对比实验，结果表明，所提出的语义引导机制能达到甚至超越目前的主流模型水平。还进行语义引导机制的消融实验，从实验结果看出，语义引导机制能在多个模型中发挥出有效性。

技术领域

本发明属于自然语言处理领域，尤其是涉及一种跨模态语义关联的视频情感分析方法，通过引入语义引导机制改善视频情感分析任务中的跨模态语义鸿沟问题。

背景技术

早期的情感分析技术是指的是对文本内容进行情感分析，旨在对文本进行信息提取与归纳总结，以便快速获得网络舆情或产品分析报告等情感倾向。随着互联网和社交平台的发展，越来越多的用户喜欢在网络中使用视频、图文等形式来表达自己对某事物的观点或情感。因此，近年来，越来越多的学者在文本情感分析的基础上对视频、图文内容进行跨模态的情感分析研究。简单的情感倾向可分为积极、消极和中性，复杂的情感还有“愤怒”、“快乐”、“悲伤”等情绪性分析。

在目前的跨模态相关研究中，无论是视频跨模态(文本、音频和视觉模态)数据，还是图文任务(比如看图说话、图文检索、图文匹配等)数据以及多重特征(比如RGB、红外、通道等)的数据，不同模态在语义方面都存在着巨大的差异，即存在跨模态中的语义鸿沟问题，该问题的本质原因在于，不同模态的数据分布和浅层特征都存在非常明显的差距。

对于视频跨模态情感分析技术存在的语义鸿沟问题，具体来说，一方面，文本模态采取Glove或Bert相关模型提取初始的词级别特征，音频模态则需要用语音工具包或语音识别预训练模型提取音频的音高、频谱等特征，视觉模态的特征则采取计算机视觉中的人脸面部特征模型进行提取。由于文本、音频和视觉模态都使用不同的特征提取器获取浅层的初始特征，因此每个模态的浅层特征在语义方面会有很大的差异，即语义鸿沟问题。另一方面，带有观点的视频主观性色彩较强，其中的文本模态包含着最关键的主观评价性信息。在跨模态情感分析任务中，将文本模态视为情感主模态，音频和视觉模态则视为情感副模态；主模态和副模态之间不仅存在语义鸿沟问题，而且还缺乏语义上的关联性和指导性。若直接将不同模态的浅层特征简单组合在一起，会给主模态带来噪声性的影响，而不是辅助主模态的作用。

综上所述，在视频跨模态情感分析领域，现有方法存在跨模态语义鸿沟问题。由于音频和视觉情感副模态缺乏来自文本情感主模态的语义指导，模型在学习过程中更容易受到副模态中与目标任务无关的噪声性影响。

发明内容

本发明的目的在于针对跨模态语义鸿沟问题，提供基于度量学习的语义引导机制，用文本情感主模态去指导音频和视觉情感副模态的语义，加强不同模态之间的语义相关性，从而减少副模态对于主模态在语义方面带来的噪声性影响，并让模型进一步学习到跨模态数据的互补特征表示的一种跨模态语义关联的视频情感分析方法。

本发明包括以下步骤：

a、提取模态浅层特征；

b、将模态浅层特征经Transformer模型L层的编码得到文本模态、音频模态和视觉模态三个模态的embeddings；

c、对于多流Transformer模型，将三个模态中的文本模态作为情感主模态，将音频与视觉模态作为副模态；

d、对于单流Transformer模型，将三个模态的特征合并作为最后情感分类器的输入；

e、模型得到最终的跨模态情感分析结果。