[发明专利]一种基于脑电图数据的深度学习视觉分类方法

权利要求书

1.一种基于脑电图数据的深度学习视觉分类方法，其特征在于，主要包括脑电图数据采集(一)；学习脑电图(二)；脑电图特征提取(三)；自动分类(四)。

2.基于权利要求书1所述的一种基于脑电图数据的深度学习视觉分类方法，其特征在于，训练一个基于卷积神经网络的回归元，它将图像投射到脑电图流形，从而有效地允许机器采用基于人类大脑的特征来执行自动化视觉分类任务。

3.基于权利要求书1所述的脑电图数据采集(一)，其特征在于，让被试者观看ImageNet数据库里的40个对象类的图片时的大脑活动，这40个对象类包含狗、猫、猫头鹰、海豹等；使用32信道脑电图来记录被试者观看图片受视觉刺激时产生的大脑信号，去掉不传达任何有用信息的三个通道后，得到多通道(29个通道)时间脑电图序列；将一般的输入脑电图序列称为s(c，t)，其中c(从1到29)对应一个通道，t(从1到110)对应时间上的一个样本，使用符号(·)来表示“所有值”，s(·，t)表示时间t处所有通道的向量，s(c，·)表示通道的整个时间样本集C。

4.基于权利要求书3所述的图片，其特征在于，2000张图片(每个对象类别50张)显示0.5秒，每个类别的图片持续显示25秒，随后是只显示黑色图像的10秒暂停时间。

5.基于权利要求书1所述的学习脑电图(二)，其特征在于，预处理后的脑电图多通道时间信号，作为输入提供给编码器模块，编码器模块处理整个时间序列并输出脑电图特征向量作为输入的紧凑表示。

6.基于权利要求书6所述的编码器，其特征在于，包括基于长短期记忆(LSTM)递归神经网络来分析序列数据，它能跟踪输入数据中的长期依赖关系；本专利采用以下三种编码器架构：

(1)公共LSTM：编码器网络由LSTM层的堆栈组成；在每个时间步骤t，第一层取输入s(·，t)(在这个意义上，“公共”意味着所有脑电图通道最初被馈送到同一LSTM层)；如果存在其他LSTM层，则第一层的输出(其可以具有与原始输入大小不同)被提供作为第二层的输入，等等；最后一个时间步长处的最深LSTM层的输出被用作整个输入序列的脑电图特征表示；

(2)通道LSTM+公共LSTM：第一编码层由几个LSTM组成，每个LSTM仅连接到一个输入通道：例如，第一LSTM处理输入数据s(1，·)，第二LSTM处理s(2，·)，等等；以这种方式，每个“通道LSTM”的输出是单个通道的数据的总结；然后，第二编码层通过接收所有信道LSTM的级联输出向量作为输入来执行通道间分析；如上所述，在最后时间步长的最深LSTM的输出被用作编码器的输出向量；

(3)公共LSTM+输出层：类似于公共LSTM架构，但是在LSTM之后添加附加的输出层(输入的线性组合，之后是ReLU非线性)，以便在少量计算时增加模型容量费用(如果与两层共同的LSTM架构相比)；在这种情况下，编码特征向量是最后一层的输出。

7.基于权利要求书6所述的编码器，其特征在于，提供每个脑电图序列被记录时所表现的与图像相关的类标签并利用梯度下降法来训练编码器和分类器；在训练之后，编码器可以用于从输入脑电图序列生成脑电图特征，而分类网络将用于预测输入脑电图特征表示的图像类别，其可以从脑电图信号或图像计算。

8.基于权利要求书1所述的脑电波特征提取(三)，其特征在于，包括微调和深度特征提取；为了对于一般图像使用递归神经网络学习的特征表示，有必要绕过脑电图记录阶段并且直接从图像提取脑电图特征；学习的脑电图特征反映图像内容，该图像内容诱发脑电图信号。