[发明专利]基于多任务信息提高目标检测泛化能力的脑机接口系统

说明书

本发明属于脑‑机接口应用领域，具体涉及一种基于多任务信息提高目标检测泛化能力的脑机接口系统，旨在为了解决基于脑电的快速序列视觉呈现目标检索问题中跨用户模型泛化性能差的问题，通过多任务学习的方式提高跨用户泛化能力，多任务模型中包括主任务目标检测以及辅助任务按键手判断、性别判断、疲劳度估计、年龄估计和用户编号判断，辅助性任务与主任务目标检测以不同的任务分支存在于同一个模型内。本发明引入主任务相关的辅助性任务，提高模型对不同用户个体特征的辨识能力，使得模型学习不同用户个体之间的差异性表示，从而实现系统的跨被试泛化能力的提升。

技术领域

本发明属于及脑-机接口应用领域，具体涉及一种基于多任务信息提高目标检测泛化能力的脑机接口系统。

背景技术

目标检测是计算机视觉领域中的一个常见方向，应用十分广泛。虽然目标检测的算法在近年来获得了巨大的进步，但是无论是传统的机器学习算法还是当前研究热点的深度学习模型，当其算法应用在真实、复杂的现实世界场景时，准确率存在不同程度的下降。人类视觉可以解决目前基于形式化表达体系的模式识别和机器智能方法在处理真实世界中的复杂问题时所面临的瓶颈问题。

在实际应用中，目标检测问题不可避免的需要人工的介入，人类视觉的处理能够保证准确度。但是人工确认的方式十分耗时，尤其在面对信息激增的今天，人工处理过程消耗时间久、费用高昂，该问题在某些需要专业人士进行处理的领域更为显著。对于目标检测问题，基于脑-机接口的快速序列视觉呈现(Rapid Serial Visual Presentation,RSVP)被用来进行图像目标识别的自动快速筛查。如图1，在RSVP-脑-机接口框架下，待检测图像序列以较高速率呈现在显示器屏幕上，典型速度为每秒出现10张图片。通过用户识别图像序列中的存在目标，用户需要在进行目标检测任务中看见目标图像出现后立即进行按键。采集用户任务期间接受视觉刺激的脑电信号(EEG)并通过脑电放大器进行放大后，发送服务器进行处理与分析，从脑电中分析出包含目标的图像在序列中的位置，从而实现自动标记目标。该框架的整个流程可以实现从图片到结果的自动化过程，将人工标记的操作时间大大减少，可以缓解图像检索、目标识别问题中，人工处理耗时的过程。

然而，不同用户脑电信号差异大，针对单个用户的EEG解码模型泛化能力有限，难以获得能够跨用户使用的EEG模型。在实际应用中，每次只能针对每位用户分别采集带标签的数据(该过程称为校准)，使用监督学习(Supervised Learning)策略获得模型参数，部署在计算机上，进行后续的测试环节。上述操作涉及到带标签样本的采集，费时费力，在一些需要尽快搭建目标检测模型的场景中难以适用。

现有的提高EEG模型泛化能力的方法主要包括三类。第一类是使用同一位用户的过往数据构建模型，将模型应用在新的数据上，这种方法的出发点在于，同一位用户在不同时间的EEG信号差异性低于不同用户EEG之间的差异。该方法的缺点在于，无法处理用户没有过往数据的情况。第二类是基于迁移的方法，通过寻找不同用户之间相似的EEG样本，从而达到以一定权重共用分类器、减少预实验时间的目的。该方法能够做到跨用户迁移模型，但缺点在于仍然需要预实验。第三类是从领域自适应(Domain Adaptation)方法出发，提高新采集的数据和过往数据之间的相似程度，以在新数据没有标签的情况下使用过往数据的监督信息。该方法可以提高EEG目标识别模型的跨被试可用性，但依然需要预实验中采集的样本。

发明内容

为了解决现有技术中的上述问题，即为了解决基于脑电的快速序列视觉呈现目标检索问题中跨用户模型泛化性能差的问题，本发明提出了一种基于多任务信息提高目标检测泛化能力的脑机接口系统，包括显示装置、脑电波采集装置、处理单元；

所述显示装置，配置为显示包含目标刺激的图片序列；

所述脑电波采集装置，配置为获取用户的脑电信号并放大；

所述处理单元包括脑电信号特征提取模块、多任务识别模块，所述多任务识别模块包括特征映射网络、目标分类主任务分支和辅助任务分支；