[发明专利]基于镜像虚拟和Skinner强化学习的个性化MI-EEG训练与采集方法

摘要

本发明涉及基于镜像虚拟和Skinner强化学习的个性化MI‑EEG训练与采集方法，该方法将康复治疗领域的镜像疗法和Skinner强化学习理论融合到MI‑EEG的训练与采集过程当中。在训练模式中设计个性化视听联合刺激，在一种较为放松的状态下通过健侧手佩戴数据手套并执行张/握动作，利用计算机串口实时读取并解码健侧手部动作的数据，进而钳制采集界面中镜像虚拟患侧手模型的动作。使受试者通过自身健侧手的动作激励诱导镜像虚拟手的运动，加强大脑运动功能区镜像神经元的电活动,并基于Skinner强化学习理论设计闭环脑电采集与控制模式检验训练效果，同时，通过Skinner在线奖励反馈，进一步增强内动机，提高MI‑EEG质量。本发明操作简单，以期取得更好的实际应用。

主权项

1.基于镜像虚拟和Skinner强化学习的个性化MI‑EEG训练与采集方法，其特征在于：包括以下三个部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式、基于镜像虚拟的运动想象脑电信号的采集模式以及基于Skinner强化学习理论的闭环脑电采集与控制模式；其中：第一部分，个性化视听联合刺激与诱导下的运动想象脑电训练模式个性化视听联合刺激与诱导下的运动想象脑电训练主要包括以下5个子步骤，(1)自由选择音乐与物体；(2)健侧手佩戴数据手套并执行张/握动作；(3)实时采集健侧手部弯曲程度的数据；(4)对采集到的数据手套数据进行分析处理；(5)判断健侧手部的运动状态并钳制镜像虚拟患侧手动作；通过以上步骤在营造的环境模式中，实现用佩戴数据手套的健侧手来钳制系统中的由三维重构的镜像虚拟患侧手，进而进行抓握所喜好的物体，通过视觉和听觉的联合刺激来激发并增强运动想象脑电信号，脑电训练的次数自由设定；具体包括如下步骤，S1在脑电采集系统界面中选择个性化视听联合刺激与诱导下的运动想象脑电训练模式时，自由选择合适的背景音乐进行播放，诱发与增强大脑中的α波促进大脑内啡肽的分泌，使大脑进入最活跃的状态，让学习、记忆得充分的施展，从而提高大脑的效率；同时，选择训练模式下用于镜像的虚拟患侧手抓握的物体，以增强视觉和心理因素的诱导；S2健侧手佩戴数据手套并执行张开和抓握的动作，则分布在数据手套每根手指上的柔性应变传感器将各手指的弯曲程度转换为数字信号；S3利用计算机串口通讯方法，实时采集健侧手部弯曲程度的数据；未经任何处理的数据手套发送的初始数据为一串字符串，包含每根手指对应的柔性应变传感器的输出值，并将其展示到界面中；S4对采集到的数据手套发送出的字符串数据进行分解和进制转换，获得表征每根手指动作状态和幅度的数据，并相应地传递给三维镜像虚拟患侧手模型，再利用这些数据钳制虚拟患侧手部动作的幅度，作为视觉刺激，营造沉浸感和交互性，并产生镜像虚拟手的虚拟模拟；S5根据对数据手套数据分离处理的结果判断健侧手部的运动状态；当健侧手张开时，根据喜好选定的物体逐渐增大，镜像的虚拟患侧手张开；当健侧手抓握时，根据喜好选定的物体逐渐缩小，镜像的虚拟患侧手抓握；从而营造患手能够进行正常抓握运动的虚拟模拟；根据镜像神经元的动作模仿学习机理，这将有利于充分调动运动想象的内动机；当训练次数达到设定的次数时结束脑电训练，未达到预设的训练次数时重复步骤S2到S5；第二部分，基于镜像虚拟的运动想象脑电信号采集模式；选择系统中该部分时，将开启脑电采集界面提示系统，第1～2秒时间内计算机屏幕上出现“+”光标提示脑电采集实验开始；第2～3秒时间内出现文字提示“张开”或“抓握”，并伴有相应的语音提示，并根据任务提示进行相应的运动想象；在第3～8秒的时间段内播放虚拟患侧手部动画视频增强对镜像神经元的刺激，引导执行患侧手部的运动想象任务，用脑电采集设备实时采集3.5～7.5秒内的运动想象脑电信号；第8～10秒的时间内进行休息，准备进入下一次采集实验，采集脑电信号的实验次数可根据需要设定；第三部分，基于Skinner强化学习理论的闭环脑电采集与控制模式；在该模式下通过佩戴的脑电采集装置采集想象患侧手部张/握动作的脑电信号，并实时地对脑电信号进行特征提取与分类；在BCI控制系统中，首先将机械设备的动作方式和运动想象脑电信号的任务通过程序进行匹配；脑电信号的分类结果出来后，计算机程序再将分类结果转化为控制信号并传输给外部机械设备，外部设备接收控制信号后执行相应的动作；最后根据机械设备执行的运动任务与运动想象意图的匹配度对受试者进行在线奖励与反馈，使其不断强化学习和及时修正行为，增强运动想象脑电信号的激励强度与主动康复意愿和对机械设备控制的信心，以免对脑电增强训练产生疲乏感。