[发明专利]基于脑电的多模态情绪数据预测方法、装置及相关介质

权利要求书

1.一种基于脑电数据的多模态情绪数据预测方法，其特征在于，包括：

在不同分辨率下，对不同子频带提取用于训练的脑电数据的微分熵特征，并基于所述微分熵特征构建域自适应神经网络；

基于所述域自适应神经网络对目标用户的脑电数据进行预测投票，得到个体情绪预测标签数据；

通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听觉特征，并将所述深度视觉特征和深度听觉特征融合为深度视听融合特征；

基于所述深度视觉特征、深度听觉特征和深度视听融合特征构建超图，并通过超图分割得到所述深度视觉特征、深度听觉特征和深度视听融合特征对应的潜藏情绪预测标签数据；

对所述个体情绪预测标签数据和潜藏情绪预测标签数据赋予权重并融合，将融合后的结果作为情绪数据预测结果。

2.根据权利要求1所述的基于脑电数据的多模态情绪数据预测方法，其特征在于，所述在不同分辨率下，对不同子频带提取用于训练的脑电数据的微分熵特征，并基于所述微分熵特征构建域自适应神经网络，包括：

获取训练集中带情绪标签的脑电数据，并设置为源域；以及获取测试集中无情绪标签的脑电数据，并设置为目标域；

分别获取所述源域和目标域的源域特征表征和目标域特征表征；

将所述源域特征表征和目标域特征表征输入至生成器中，依次通过生成器中的第一全连接层、第一ELU层、第二全连接层、第二ELU层、第三全连接层、第三ELU层后对应得到训练特征和测试特征；

将所述训练特征和对应的训练标签输入至分类器中，通过所述分类器中的第四全连接层进行分类预测；

将所述训练特征和测试特征输入至判别器中，依次通过所述判别器中的第五全连接层、RELU层和第六全连接层进行判别预测。

3.根据权利要求1所述的基于脑电数据的多模态情绪数据预测方法，其特征在于，所述基于所述域自适应神经网络对目标用户的脑电数据进行预测投票，得到个体情绪预测标签数据，包括：

分别提取目标用户的脑电数据的高分辨率特征表征、中分辨率特征表征和低分辨率特征表征；

将所述高分辨率特征表征依次输入至第一生成器和第一分类器中，得到高分辨率标签；将所述中分辨率特征表征依次输入至第二生成器和第二分类器中，得到中分辨率标签；将所述低分辨率特征表征依次输入至第三生成器和第三分类器中，得到低分辨率标签；

对所述高分辨率标签、中分辨率标签和低分辨率标签进行投票，并将投票结果作为个体情绪预测标签数据。

4.根据权利要求2所述的基于脑电数据的多模态情绪数据预测方法，其特征在于，还包括：

按照下式构建所述域自适应神经网络的域对抗训练目标函数E：

式中，和分别表示源域和目标域，x^l为带情绪标签的脑电数据，z^l为中无标签的脑电数据，θ、σ和μ均为参数；

按照下式构建所述判别器的二值化跨熵损失函数：

式中，r_θ和d_μ分别表示生成器和判别器；

按照下式构建分类器的损失函数：

式中，是源域的分类损失。

5.根据权利要求1所述的基于脑电数据的多模态情绪数据预测方法，其特征在于，所述通过深度卷积网络模型对预设的视听内容提取深度视觉特征和深度听觉特征，并将所述深度视觉特征和深度听觉特征融合为深度视听融合特征，包括：

对预设的视听内容提取所有帧视觉信息，将每一所述帧视觉信息输入至VGG16网络中；

利用所述VGG16网络中的每一卷积层提取每一所述帧视觉信息的特征图，在每一卷积层的特征图下计算对应的平均特征图；

基于每一卷积层的平均特征图，利用自适应方法提取各个卷积层的关键帧特征；

将最后两层卷积层对应的关键帧特征拼接为所述深度视觉特征；

将预设的视听内容中的听觉信息无重叠分割为多个听觉片段，利用VGGish网络中的每一卷积层计算每一所述听觉片段对应的平均特征图，并将最后两层卷积层对应的平均特征图拼接为所述深度听觉特征；

将所述深度视觉特征深度听觉特征融合为所述深度视听融合特征。