[发明专利]基于多任务信息提高目标检测泛化能力的脑机接口系统

权利要求书

1.一种基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，包括显示装置、脑电波采集装置、处理单元；

所述显示装置，配置为显示包含目标刺激的图片序列；

所述脑电波采集装置，配置为获取用户的脑电信号；

所述处理单元包括脑电信号特征提取模块、多任务识别模块，所述多任务识别模块包括特征映射网络、目标分类主任务分支、辅助任务分支；

所述脑电信号特征提取模块，配置为对所述脑电信号进行预处理和特征提取，获取对应的脑电特征向量；

所述特征映射网络，配置为对所述的脑电特征向量进行映射，获得对应的脑电隐空间特征；

所述目标分类主任务分支，配置为基于所述脑电隐空间特征判断所述显示装置所显示的图片是否为目标图片；

所述辅助任务分支，配置为依据所述脑电隐空间特征，使用多层网络进行预设的辅助任务的分类或回归；

所述辅助任务分支包括按键手判断分支、性别分类分支、年龄回归分支、疲劳度回归分支、编号分类分支中的一个或多个；

新用户的EEG数据直接可以进行测试；EEG数据输入特征提取模块后，得到脑电特征输入多任务识别模块，将其映射到128维的隐含特征空间内，并进一步进行任务分类、性别分类、年龄回归、疲劳度回归和编号分类；主任务联合辅助任务学习使神经网络可以将来自不同用户个体差异大的脑电特征映射到一个针对不同特性的用户个体之间具有显著差异模式的隐含特征空间；所述隐含特征空间即具备面向主任务的可分类性，同时也具备了来自不同被试的差异模式，神经网络面向分类任务的分支可以学习和抓取这种差异模式。

2.根据权利要求1所述的基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，所述辅助任务分支包括按键手判断分支、性别分类分支、年龄回归分支、疲劳度回归分支、编号分类分支中的一个或多个；

所述按键手判断分支，配置为基于所述脑电隐空间特征使用多层网络判断所述用户使用哪只手按键；

所述性别分类分支，配置为基于所述脑电隐空间特征判断使用多层网络所述用户性别；

所述年龄回归分支，配置为基于所述脑电隐空间特征使用多层网络对所述用户进行年龄的预测；

所述疲劳度回归分支，配置为基于所述脑电隐空间特征使用多层网络对所述用户进行疲劳程度预测；

所述编号分类分支，配置为基于所述脑电隐空间特征使用多层网络对所述用户进行分类的判断。

3.根据权利要求2所述的基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，所述多任务识别模块中特征映射网络和各分支分别基于神经网络构建，在训练中联合优化；所述多任务识别模块的训练的代价函数为：

其中，为所述目标分类分支的代价函数，形式为交叉熵；为所述按键手判断分支的代价函数，形式为二值交叉熵；为所述年龄回归分支的代价函数，形式为均方误差；为所述性别分类分支的代价函数，形式为二值交叉熵；为所述疲劳度回归分支的代价函数，形式为均方误差；为所述编号分类分支的代价函数，形式为交叉熵；ω、α、β、γ、δ、ε为权重因子；L₂为对网络参数的二范数约束；λ为二范数参数。

4.根据权利要求3所述的基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，ω为1，α、β、γ、δ、ε、λ采用交叉验证方法确定。

5.根据权利要求1所述的基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，所述多任务识别模块中特征映射网络包含两个全连接层，分别包含512和128个神经元，使用ReLU作为激活函数。

6.根据权利要求1-5任一项所述的基于多任务信息提高目标检测泛化能力的脑机接口系统，其特征在于，所述多任务识别模块中，主任务分支和各个辅助任务分支均包含一个隐藏全连接层，分类主任务和各个辅助任务分支的隐含全连接层，分别包含64和32个神经元，使用ReLU作为激活函数。