[发明专利]基于脑电的多模态情绪数据预测方法、装置及相关介质

说明书

本发明公开了基于脑电数据的多模态情绪数据预测方法、装置及相关介质，该方法包括：基于域自适应神经网络对脑电数据进行预测投票，得到个体情绪预测标签数据；通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听觉特征，并将所述深度视觉特征和深度听觉特征融合为深度视听融合特征；基于所述深度视觉特征、深度听觉特征和深度视听融合特征构建超图，并通过超图分割得到所述深度视觉特征、深度听觉特征和深度视听融合特征对应的潜藏情绪预测标签数据；对个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重并融合，将融合后的结果作为情绪数据预测结果。本发明结合脑电数据和视听特征，进行多模态预测，从而提高情绪预测的准确性。

技术领域

本发明涉及计算机软件技术领域，特别涉及基于脑电的多模态情绪数据预测方法、装置及相关介质。

背景技术

脑电为记录人体大脑活动提供了一种更加自然的方式，同时，也被广泛应用于情感智能研究。现有的文献表明，深度神经网络学习方法为从脑电信号中提取深度特征信息提供了有效的方法，并在基于脑电的情绪预测中实现了较好的结果。然而，由于个体差异性的问题，基于脑电的情绪预测模型的稳定性和泛化性是很大挑战。具体地，脑电是非常弱的信号，很容易受到外界噪声的干扰和影响，使得从噪声中辨别个体特性的和有意义的脑电特征变得困难。

视觉内容和听觉内容是诱发情绪的主要因素，向个体传递相同的客观内容，诱导不同的个体产生不同的情绪。因此，基于个体的生理信号的情绪预测模型存在信息缺失和个体差异的问题，不能对情绪实现精确的建模。与单模态的情绪预测模型相比，多模态融合的方法可以为情绪预测提供更多单模态下缺失的互补信息，能够实现更加精确的建模。现有的提取视听特征的方法都是基于传统视听特征的，由于“语义鸿沟”(或“情绪鸿沟”)的存在，传统的视听特征并不能充分地表达与情绪相关的具有判别性的特征。

发明内容

本发明实施例提供了一种基于脑电数据的多模态情绪数据预测方法、装置及相关介质，旨在提高情绪预测的准确性。

第一方面，本发明实施例提供了一种基于脑电数据的多模态情绪数据预测方法，包括：

在不同分辨率下，对不同子频带提取用于训练的脑电数据的微分熵特征，并基于所述微分熵特征构建域自适应神经网络；

基于所述域自适应神经网络对目标用户的脑电数据进行预测投票，得到个体情绪预测标签数据；

通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听觉特征，并将所述深度视觉特征和深度听觉特征融合为深度视听融合特征；

基于所述深度视觉特征、深度听觉特征和深度视听融合特征构建超图，并通过超图分割得到所述深度视觉特征、深度听觉特征和深度视听融合特征对应的潜藏情绪预测标签数据；

对所述个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重并融合，将融合后的结果作为情绪数据预测结果。

第二方面，本发明实施例提供了一种基于脑电数据的多模态情绪数据预测装置，包括：

网络构建单元，用于在不同分辨率下，对不同子频带提取用于训练的脑电数据的微分熵特征，并基于所述微分熵特征构建域自适应神经网络；

第一预测单元，用于基于所述域自适应神经网络对目标用户的脑电数据进行预测投票，得到个体情绪预测标签数据；

特征提取单元，用于通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听觉特征，并将所述深度视觉特征和深度听觉特征融合为深度视听融合特征；

第二预测单元，用于基于所述深度视觉特征、深度听觉特征和深度视听融合特征构建超图，并通过超图分割得到所述深度视觉特征、深度听觉特征和深度视听融合特征对应的潜藏情绪预测标签数据；