[发明专利]多模态情感分析方法、装置及电子设备

说明书

本发明涉及一种多模态情感分析方法，包括步骤：对待分析视频数据中的图像数据、文本数据、语音数据进行特征提取，得到图像特征、文本特征、语音特征；根据文本特征对图像特征、语音特征进行特征增强，得到图像增强特征、语音增强特征；对图像增强特征、语音增强特征分别和文本特征进行跨模态注意力交互，得到图文交互特征、音文交互特征；对图像特征、文本特征、语音特征分别进行基于多头自注意力机制的特征提取，得到图像自注意力特征、文本自注意力特征、语音自注意力特征；将文本自注意力特征、图像自注意力特征、语音自注意力特征、图文交互特征和音文交互特征融合得到多模态视频特征；对多模态视频特征进行情感分类预测，得到情感分类结果。

技术领域

本发明涉及多模态情感分析技术领域，尤其是涉及一种多模态情感分析方法、装置及电子设备。

背景技术

随着互联网的发展，越来越多用户在社交平台上用视频来表达自己的观点，对这些视频信息进行情感分析能够快速捕捉用户所表达的情感倾向，基于情感分析结果，可以开发出自动化的决策支持系统，例如自动化的客户服务系统、自动化的营销策略生成系统等等。视频数据中的信息量巨大，包括语音信息(如声音表达、声音大小、音调高低)和图像信息(如人们的面部表情、肢体动作)以及文本信息，传统的基于文本的单模态情感分析无法有效对视频数据进行情感分析，而需要通过多模态情感分析来预测视频数据的情感倾向。但是，目前的多模态情感分析方法中存在噪声干扰多，导致情感分析准确率低。

发明内容

本发明的目的在于克服现有技术的缺点与不足，提供一种多模态情感分析方法，能够提高情感分析准确性。

本发明是通过以下技术方案实现的：一种多模态情感分析方法，包括步骤：

获取待分析视频数据中的图像数据，对所述图像数据进行特征提取，得到图像特征；

获取所述待分析视频数据中的文本数据，对所述文本数据进行特征提取，得到文本特征；

获取所述待分析视频数据中的语音数据，对所述语音数据进行特征提取，得到语音特征；

根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征；

根据所述文本特征对所述语音特征进行特征增强，得到语音增强特征；

对所述图像增强特征和所述文本特征进行跨模态注意力交互，得到图文交互特征；

对所述语音增强特征和所述文本特征进行跨模态注意力交互，得到音文交互特征；

对所述图像特征进行基于多头自注意力机制的特征提取，得到图像自注意力特征；

对所述文本特征进行基于多头自注意力机制的特征提取，得到文本自注意力特征；

对所述语音特征进行基于多头自注意力机制的特征提取，得到语音自注意力特征；

将所述文本自注意力特征、所述图像自注意力特征、所述语音自注意力特征、所述图文交互特征和所述音文交互特征进行融合，得到多模态视频特征；

对所述多模态视频特征进行情感分类预测，得到情感分类结果。

相对于现有技术，本发明的多模态情感分析方法通过对文本特征、图像特征和语音特征进一步进行自注意力特征提取，能够识别各模态内部对情感分类贡献度大的信息，从而减少减少外部信息依赖和噪声干扰，同时，将图像增强特征和语音增强特征分别与文本特征通过跨膜态注意力进行融合，能够增加文本模态与图像模态和语音模态间的互动和特征互补，由此，将文本自注意力特征、图像自注意力特征、语音自注意力特征、图文交互特征和音文交互特征进行融合来得到用于分类预测的多模态视频特征，有利于提高情感分类预测的准确性。

进一步地，根据所述文本特征对所述图像特征进行特征增强，得到图像增强特征，包括步骤：