[发明专利]一种基于P300的脑控机器人系统及其实现方法

权利要求书

1.一种基于P300的脑控机器人系统的实现方法，其特征在于：所述的脑控机器人系统，包括视觉刺激模块并与其依次相连的受试者、电极帽模块、Neuroscan脑电采集模块、信号处理模块、控制接口模块、Pioneer3-DX型机器人运动模块，所述Pioneer3-DX型机器人运动模块还与视觉刺激模块相连，控制接口模块还与Pioneer3-DX型机器人环境检测模块相连，所述视觉刺激模块，是为受试者呈现视觉刺激以诱发脑电信号P300，包括5-oddball范式视觉刺激界面配置模块并与其分别相连的参数设置模块、刺激呈现模块及刺激设计模块，所述信号处理模块，是将采集的脑电信号转换成控制指令，包括预处理模块并与其依次相连的特征提取模块和特征分类模块，所述控制接口模块，是实现脑控和机器人自主控制的交互共享，包括共享控制模块并与其分别相连的脑控命令模块及环境信息模块；

其中，所述的实现方法，包括以下步骤：

步骤A、系统初始化，对Neuroscan脑电采集模块，视觉刺激模块和Pioneer3-DX型机器人运动模块进行初始化设置，具体包括以下子步骤：

子步骤A₁、初始化Neuroscan脑电采集模块，设置P300记录电极为Fz、C3、Cz、C4、Pz、Oz，以左右乳突电极A1、A2的平均作为参考，各电极的阻抗小于5kΩ，设置采样频率为250Hz；

子步骤A₂、初始化视觉刺激模块，采用5-oddball实验范式，刺激类型选取图形符号，以〇为中心，↑、↓、←、→分别分布在其正上、正下、正左、正右四个方位进行排布，界面由上到下共分为三个部分，上部显示实验技术人员指定受试者需要关注的图形符号，如果实验技术人员没有要求，此位置显示为空，中部为当前时刻所反馈出的图形符号，下部是图形符号刺激界面，视觉刺激的整体背景为白色，图形符号为黑色，闪烁颜色为绿色，反馈提示为黄色，刺激呈现方式为单闪，闪烁持续时间为100ms，刺激间隔为125ms，再将视觉刺激界面置于屏幕左上角；

子步骤A₃、初始化Pioneer3-DX型机器人运动模块，打开MobileSim软件，创建虚拟机器人，并在路径下加载绘制地图，设置机器人初始坐标位置、前进的线速度和转向的角速度，再将地图界面置于屏幕右上角；

子步骤A₄、查看受试者的精神状态，提醒其保持集中状态，开启系统实验，进入步骤B；

步骤B、脑电信号采集，采用Neuroscan脑电采集模块采集Fz、C3、Cz、C4、Pz、Oz处电极的脑电数据，采集分为训练阶段和测试阶段，具体包括以下子步骤：

子步骤B₁、采集脑电信号训练数据，具体包括以下子步骤：

子步骤B₁₁、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部会显示出实验技术人员需要受试者依次关注的图形符号；

子步骤B₁₂、实验开始后，受试者有2s的调整时间，随后刺激开始，5种刺激以随机序列各闪烁一次，称为1个trial，trial与trial之间的时间间隔为500ms；

子步骤B₁₃、受试者按照界面上部显示的图形符号，依次默记其闪烁次数，当界面中部出现反馈信号后，转向下一个需要关注的图形符号，训练数据共包含500个trials，然后进入子步骤C₁；

子步骤B₂、采集脑电信号测试数据，具体包括以下子步骤：

子步骤B₂₁、采集过程中需要受试者注视呈现在屏幕左上角的视觉刺激界面，界面上部不会显示图形符号，受试者首先要观察呈现在屏幕右上角的地图和机器人，确认想要其运动的方向；

子步骤B₂₂、同子步骤B₁₂；

子步骤B₂₃、根据观察地图和机器人得到的运动方向，默记相应的图形符号闪烁次数，其中←表示匀速左转30°、→表示匀速右转30°、↑表示匀速前进0.5m、↓表示匀速后退0.5m、〇代表保持静止不动，受试者会根据界面中部显示的反馈信号调整需要关注的图形符号，测试数据包含400个trials，然后进入子步骤C₂；

步骤C、信号处理，对脑电信号进行预处理，特征提取和分类，具体包括以下子步骤：

子步骤C₁、通过训练数据进行特征提取及分类训练，构造分类器模型，具体包括以下子步骤：

子步骤C₁₁、对信号进行预处理，选择脑电信号采集中的Fz、C3、Cz、C4、Pz、Oz六个电极数据传送到信号处理模块，数据格式为R×S维，这里，R等于6表示电极数，S表示采样点，再依次经过截止频率为0.1Hz的IIR滤波器和截止频率为10Hz的FIR滤波器进行预处理；

子步骤C₁₂、对信号进行特征提取，从各单个刺激的开始时刻0ms对脑电信号进行分段，每段称之为Epoch，时间窗口长度选为600ms，其中前100ms为基线，同种刺激的Epoch叠加5次，之后数据被降采样到25Hz，共15点，得到新的Epoch，数据格式为6×15维，再将得到的Epoch按照电极顺序依次拼接，则单个刺激提取的特征向量x为90×1维；

子步骤C₁₃、对分类器进行训练，选择的分类器为Fisher线性判别分析分类器，判别函数g(x)通过公式(1)进行描述，

g(x)＝w^Tx (1)

式中，w为权重向量，x为特征向量，训练样本为X＝[x₁,x₂,...,x_N]，样本数量N等于500，其中靶刺激的样本数量为100，对应分类标签为1，非靶刺激的样本数量为400，对应分类标签为0，通过Fisher线性判别分类器得到w的最优值w*；

P300的诱发与期望相关，而与刺激无关，所以脑机接口中对P300的识别，即分类器分成靶刺激类记为1和非靶刺激类记为0的两类结果，并按照公式(2)进行分类，

式中，label(x)为分类器输出函数，

在实际P300脑机接口中，数据输入是n个x_i(i＝1,…,n)的集合，n表示刺激种类数，有5种刺激(〇、↑、↓、←、→)，即n＝5，通过公式(3)进行分类，

若分类器共识别出1个靶刺激类和n-1个非靶刺激类，则分类器代表有指令输出，若分类器共识别出1个以上的靶刺激类，则分类器代表无指令输出，然后进入子步骤B₂；

子步骤C₂、P300的在线检测，具体包括以下子步骤：

子步骤C₂₁、同子步骤C₁₁；

子步骤C₂₂、同子步骤C₁₂；

子步骤C₂₃、将构造好的分类器应用在线系统中，5轮刺激闪烁后，5种刺激的特征向量构成分类器输入，分类器根据公式(1)和公式(3)输出5种刺激对应的控制命令，然后进入步骤D；

步骤D、实现共享控制，采用美国ActivMedia Robotics公司的Pioneer3-DX型机器人进行控制，通过TCP/IP协议进行脑控命令与机器人之间的数据传输，具体包括以下子步骤：

子步骤D₁、系统判断是否有脑控命令信息，有则进入子步骤D₂，否则进入子步骤D₃；

子步骤D₂、首先进行脑控命令的检测，判断其是否符合环境信息，即检测当障碍物与机器人距离小于0.5m时，机器人是否仍然接收到靠近障碍物的脑控命令，如果有则进入步骤D₃，否则进入脑控命令模式，即在脑控命令持续时间内，执行相应的脑控命令动作，即脑控命令为↑或↓时，机器人匀速前进或后退0.5m，脑控命令为←或→时，机器人匀速左转或右转30°，脑控命令为〇时，机器人保持不动，随后系统判断控制命令的结束与否，结束则进入子步骤D₁，否则等待控制命令结束；

子步骤D₃、进入机器人自主控制模式，通过机器人激光传感器采集环境信息，通过模糊离散事件系统方法计算机器人运动的线速度与转向的角速度，输出控制命令并判断其是否执行完毕，执行完毕则进入子步骤D₁，否则等待控制命令执行完毕。