[发明专利]跨用户场景下对抗域适应的脑电情绪识别方法

说明书

本发明公开了一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，属于脑电情绪识别技术领域。本发明包括：首先进行数据集的收集和划分，用带有常规卷积神经网络的图卷积神经网络提取特征表示，构建一个广阔的特征空间。然后将特征空间划分为若干个区域，每个区域对应一个域判别器。训练过后，域判别器难以判别的区域，相对来说具有更好的迁移能力。通过赋予这些区域更大的权重，训练集中在多个具有更好的迁移能力的区域的对齐上。以提取到区别能力和迁移能力的情绪相关和领域不变的特征，从而提高迁移能力，获得更好的情绪识别性能。本发明方法大幅度提升了情绪识别模型的效果，具有更好的可实用性。

技术领域

本发明涉及脑电情绪识别技术领域，尤其涉及一种跨用户场景下对抗域适应的脑电情绪识别方法。

背景技术

情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应，在人们的日常工作和生活中，情绪的作用无处不在。如何准确识别情绪，在人机交互研究中占据重要位置，且有实际应用的意义：在交通领域中，特别是对于高速铁路和长途汽车司机来说，情绪的稳定非常重要，通过对驾驶员的情绪状态进行识别评估，就可以针对驾驶员的情绪状态判断出该驾驶员是否需要休息调理，提高驾驶安全度。在教育类产品中，用户在产品上进行任务学习，当产品识别出用户情绪较为挫败时，通过降低难度或提供一些辅助来降低用户的挫败感，保持学习动力，得到更好的用户体验。在辅助诊断领域里，具有情感障碍或者表达障碍的患者可能无法和医生达到良好的合作从而影响诊断的准确性，因此能够了解患者的情绪对心理类疾病的预防和诊断有很大的作用。随着可穿戴设备和人机交互的不断发展，基于脑电(Electroencephalographic，EEG)的情绪识别已成为一个有吸引力的研究课题。

然而，不同的个体存在个体差异性，这种个体差异性表现在每个人产生情感的方式和程度不同，对同一个刺激材料的反映不同。因此，针对一个人所训练的情绪识别模型，在训练后会对该人的情绪有着较好的识别结果。若用该模型对另一个人的情绪进行识别，结果可能就会出现大的误差。即人与人之间的这种个体差异性会导致数据分布的差异从而影响模型的泛化能力，使模型的准确性在跨受试人的应用场景中大大降低。

有几种新技术试图减少个体差异对情绪识别模型的影响。其中一种技术是特征选择。例如，Yin Zhong等人选择在源域和目标域中常见的特征，并基于这些选择的特征构建一个健壮的情绪识别模型。另一种技术是一般域适应。Lan Zirui等人领导了几种一般域适应技术的比较研究，例如迁移成分分析、子空间对齐等。他们发现，通过领域对齐，针对多个用户训练一个通用的模型的分类准确率可以提高约10％。然而，这两种技术都有一个局限性，它们需要浅层的手工提取的特征，这些特征的判别能力可能不够强，不足以代表情绪。

深度学习有助于获得情绪识别的有区分能力的特征。例如，Song Tengfei等人通过动态图卷积神经网络生成深度判别表示，以学习脑电通道之间的内在关系。Zhang Tong等人利用广义概念(broad concept)来连接所有的层次特征，以构建一个广阔的特征空间。虽然它们保持了特征的鉴别性，但它们并没有探索特征的迁移能力。

近年来，通过将域适应嵌入到深度学习中，在探索具有迁移能力的特征上取得了令人满意的效果。例如，Jin Yiming等人首先将对抗性域适应应用到基于脑电的情绪识别中，通过学习具有区别能力和迁移能力的特征，在跨用户的情绪识别场景下取得了显著的进步。后来，Li Yang等人和Zhong Peixiang等人扩展了特征提取器，进一步提高了特征的判别性。Li Yang等人使用双向长短期记忆来学习可区分的时空脑电特征。Zhong Peixiang等人提出了一种正则化的图神经网络来提取脑电通道中的局部和全局信息。与非域适应技术相比，一般的域适应技术可以在一定程度上减少受试者之前的分布差异，但它也可能导致负迁移的发生，从而导致跨受试者场景中的情绪识别性能下降。因为只有一个域判别器，这意味着所有的特征都被视为一个整体是否要被转移。然而，特征空间中的特性并不具有相同的迁移能力，利用这一点可以提高情绪识别的性能。

发明内容