[发明专利]一种基于张量融合网络的社交媒体情感分析方法及系统

说明书

本发明属于多模态情感识别领域，提供了一种基于张量融合网络的社交媒体情感分析方法及系统。该方法包括：获取多模态信息数据；分别提取多模态信息数据的文本特征和图像特征；采用张量融合方法将文本特征和图像特征进行融合，得到融合特征；提取融合特征的情感特征；将情感特征输入全连接层，再采用分类器完成情感分类。

技术领域

本发明属于多模态情感识别领域，尤其涉及一种基于张量融合网络的社交媒体情感分析方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

社交媒体作为信息交流的重要平台，已经成为涵盖广泛主题的主要信息来源。社交多媒体是指发布在社交媒体平台上的在线多媒体资源，它促进了个人参与和社区监管。在大数据时代，每分钟各类社交网络都会产生大量的多媒体数据。发现嵌入在社交多媒体中的知识非常重要，因为它对许多有前景的应用至关重要，如用户行为分析和预测等。情感分析(也称为意见挖掘)旨在提取嵌入到用户生成内容中的人们的意见和情感，可以实现股票市场预测、票房预测、政治投票预测和民意监测等多种功能。在当今时代，对社交网络中各种多媒体内容的情感分析已被证明具有重要意义，它在感知、规划、推理、创造和决策活动中起着重要作用。

情感分析最初是指检测、分析和提取文本中表达的态度、情感和观点的任务。随着配备摄像头的移动终端和社交网络平台(如Facebook、Twitter和微博)的普及，图像、视频等多媒体内容在社交网络中扮演着传递人们情感和观点信息的重要角色。因此，针对社交多媒体的情感分析不再仅仅是自然语言处理中的一个话题，它还与计算机视觉、模式识别和人工智能中的其他问题相关联。相应地，情感分析的概念应该扩展，情感分析的知识也应该更新。虽然社交多媒体情感分析还处于起步阶段，这个话题也存在一定的争议，但是社交网络的多媒体化是一个不争的事实，社交多媒体情感分析越来越受到重视。

情感分析的实质就是在情感载体中提取出特征，并找出其中隐藏的情感信息。当前很多情感分析的方法都只依赖于单一载体传递的信息，这种识别情感的方式称为单模态情感分析，然而这种情感分析往往是片面的，主要原因在于人类情感表达方式的多样性。单个模态传递的信息缺乏完整性，相比文本或图像的单模态数据，多模态数据包含的信息更丰富，能更好地展现和揭示用户的真实情感，成熟的情感分析需要各个模态之间的相互融合。人们在社交媒体文本的情感分析方面付出了大量努力，视觉情感分析也取得了一定的进展，但总的来说，多模态情感分析仍处于起步阶段。

一张图片中并不是所有的图像区域都与情感表达相关，一条文本数据中也不是所有的单词都与情感有关。因此，在进行特征提取时要突出图像的情感关键区域，也要获得文本中表示语言本质的语义特征。对于多模态情感分析任务，其核心挑战在于如何更好地利用模态内部信息和模态之间的交互作用信息。模态内部信息就是单个独立的模态所能被挖掘并利用的信息；而模态之间的交互作用则是不同模态之间的相互关联与联系所能带来的有用信息。如何利用不同模态之间的交互信息，也是多模态任务与单模态任务的最大区别。因此，多模态情感分析需要找到正确结合各模态信息的有效方式，通过捕捉不同模态数据之间的相似结构来捕获传统任务中缺失的有效信息，以最大化地融合各模态信息以及各模态间的交互信息，同时要消除冗余信息，提取交互信息中最有用的情感特征。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种基于张量融合网络的社交媒体情感分析方法及系统，提取出了能更好表示语言本质的文本语义特征，提取出了图像中更为关键的情感特征。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种基于张量融合网络的社交媒体情感分析方法。

一种基于张量融合网络的社交媒体情感分析方法，包括：

获取多模态信息数据；

分别提取多模态信息数据的文本特征和图像特征；