[发明专利]基于深度子域关联适应网络的脑电情感迁移方法

说明书

本发明提出一种基于深度子域关联适应网络的脑电情感迁移方法。首先根据样本标签将源域和目标域划分为子领域，通过深度神经网络同时提取源域和目标域特征后，使用多核高斯函数将特征样本映射至再生核希尔伯特空间得到不同域样本之间的距离度量，之后根据标签和度量值计算源域和目标域中同类子域样本之间的关联循环损失，最后通过反向传播算法最小化源域分类损失与关联循环损失的和，达到域适应的效果。本发明为后续深度迁移学习算法的改进提供了新思路。

技术领域

本发明提出一种深度子域关联网络(Deep Subdomain Associate AdaptationNetwork,DSAAN)用以完成脑电情感迁移任务。首先根据样本标签将源域和目标域划分为子领域，通过深度神经网络同时提取源域和目标域特征后，使用多核高斯函数将特征样本映射至再生核希尔伯特空间(Reproducing Kernel Hilbert Space,RKHS)得到不同域样本之间的距离度量，之后根据标签和度量值计算源域和目标域中同类子域样本之间的关联循环损失，最后通过反向传播算法最小化源域分类损失与关联循环损失的和，达到域适应的效果。

背景技术

情感是一种综合了感觉、思想和行为的复杂状态，是人类对内部或外部刺激真实的心理和生理反应。随着人工智能技术的不断发展，情感识别已经成为了人机交互领域的研究热点，将情感自动识别技术引入到HMI应用，可显著提高用户的体验质量，并推动实现人工智能由感知智能到认知智能的飞跃。脑机接口可有效的作为人机交互的桥梁，BCI技术可通过非侵入的方式采集人体脑电信号，且大量的神经生理学和心理学研究发现，人类的情绪产生和情感活动与大脑皮层的电信号高度相关，因此EEG信号凭借其高时间分辨率，低成本，高便捷的优点被有效的运用在人类情感识别任务中。

然而由于脑电信号具有个体差异性，脑电情感分类模型难以在不同被试之间推广，且脑电信号的非平稳性导致了同一被试不同时间段的脑电信号有着显著的差异性，这对构建跨时段工作的情感分类模型也是一个挑战，因此越来越多的学者将迁移学习(Transfer Learning)的思想引入脑电情感分类任务中。迁移学习也称为域适应(DomainAdaptation)，在情感脑电分类任务中，各被试包含的脑电数据都可以称为一个域，希望通过某个域的样本分布训练一个模型，使其能很好地分类其他域的样本。如此，训练模型的域称为源域，待分类的域称为目标域。域适应的核心思想就是通过缩小源域和目标域之间的度量差异，使得各领域内包含样本的分布大致相同，因此经过域适应后，分类模型将具有跨被试，跨时段工作的能力。近年来随着深度学习技术的不断发展，深度神经网络被大量地应用在迁移学习领域，相比较基于浅层机器学习的域适应算法，深度迁移学习可自动化地提取更具表现力地特征，并满足了实际应用中端到端的迁移需求，常见的深度迁移网络和方法包括finetune，DDC，DAN，DANN等，然而上述方法在域迁移的过程中只从宏观角度上对全域样本进行了特征对齐，并没有考虑将相同类别不同域的样本分别进行域适应，因此Zhu等人提出了一种DSAN网络，通过标签将各域样本划分为子领域，其中源域使用真实标签，目标域使用神经网络预测的伪标签，并通过最小化LMMD对子领域进行域适应从而达到整体域适应。所得到的分类结果优于基于全域迁移模型，然而LMMD度量准则需要计算各域中不同标签所占的权重，计算代价较大。Philip等人提出了一种基于不同域样本之间点积值的关联循环度量准则，方法的核心思想是计算所有源域和目标域样本之间的往返点积距离，限制条件为往返过程中起点和终点所对应的源域样本必须为同一标签，通过最小化所有的往返点积距离，即关联循环来达到域适应的效果，然而该方法只限定了循环中起点和终点的源域样本标签必须一致，未考虑循环中目标域样本标签对域适应的影响。

发明内容

针对上述方法存在的问题，本发明提出一种深度子域关联适应网络(DSAAN)，通过经神经网络编码后的不同域特征样本计算其相互间基于多核高斯函数映射后的距离度量，再根据各域样本对应的标签和距离度量有选择地计算并优化关联循环损失，最后通过神经网络反向传播算法最小化源域分类损失与子域关联循环损失的和，来完成跨被试，跨时段的脑电情感迁移分类任务。

本发明基于深度子域关联适应网络的脑电情感迁移方法，包括以下步骤：