[发明专利]一种基于脑机接口的视觉图像重建系统

说明书

本发明公开了一种基于脑机接口的视觉图像重建系统，可以实现基于脑电信号的实时图像重建，包括：脑电信号采集子系统；脑电信号特征提取与分类子系统；图像编码器；图像解码器；判别器；脑电特征映射器；图像质量评估子系统。脑电信号特征提取与分类子系统进行脑电信号特征提取和分类；图像编码器对图形进行编码。图像解码器进行特征向量的解码。判别器是通过卷积对解码图片进行判别。脑电特征映射器是通过脑电特征映射网络将脑电信号特征向量转换为图像解码器中潜在空间的特征向量。图像质量评估是对脑电信号的重建图片进行无参考图像质量评估。本发明可将视觉所看到的图像信息恢复重建，理解特定刺激所诱发的脑电信号。

技术领域

本发明涉及脑机接口视觉图像重建技术领域，尤其涉及一种基于脑机接口的视觉图像重建系统。

背景技术

一般视觉是人类与环境进行互动的基本功能之一，并且人类从外部接受的信息80％是以上都是视觉信息，所以视觉信息占据着重要的地位。近几十年来，随着认知神经科学的不断发展，人们通过神经影像技术可以观察到不同认知任务下的脑激活模式，从而研究大脑皮层对视觉信息加工处理的神经编码机制，以及解码其相应的认知状态。而机器学习为图像的编码和解码提供了强有力的理论和技术支持。目前该领域内视觉图像识别和重建适合基于图像的相似性进行解码，但极少提供关于人所看到或想象的对象的精确信息，采用基于脑电信号进行图像重建的研究尚处于初级阶段，未形成系统化成果。

发明内容

为了解决上述背景技术中提出的问题，本发明提供了一种基于脑机接口的视觉图像重建系统。

本发明的有益效果是：将视觉所看到的图像信息予以恢复重建，理解特定刺激所诱发的脑电信号。

为了实现上述目的，本发明采用的技术方案是：

一种基于脑机接口的视觉图像重建系统，包括：

脑电信号采集子系统，主要包括视频对受试者进行视觉刺激时，依次用于对大脑产生的脑电信号进行采集的脑电帽、进行脑电信号放大的脑电信号放大器、进行脑电信号去噪的小波变换器、进行脑电信号滤波的带通滤波器以及进行脑电信号记录的脑电信号记录软件；

脑电信号特征提取与分类子系统，主要包括脑电信号特征提取模块和脑电信号特征分类模块，将脑电信号采集子系统输出的脑电信号进行特征提取与分类；

图像编码器，对引起视觉刺激的视频，进行剪辑处理转换为输入图片，进而对输入图片进行编码得到图像特征向量；

脑电特征映射器，通过脑电特征映射网络将脑电信号特征提取与分类子系统输出的脑电信号特征向量转换为图像解码器中潜在空间的特征向量，即脑电特征映射向量；

图像解码器，包括两个，第一个图像解码器对图像编码器输出的图像特征向量进行解码，得到解码图片，第二个图像解码器对脑电特征映射向量进行解码，得到脑电信号的重建图片；

判别器，通过卷积对解码图片进行判别，判断其是否符合图片输出条件；

图像质量评估子系统，根据符合图片输出条件的解码图片，对脑电信号的重建图片进行无参考图像质量评估。

本发明视觉重建包括如下步骤：

获取受试者观看视频的脑电信号并对其进行特征提取与分类，得到脑电特征向量；

将脑电特征向量输入到LSTM神经网络的特征映射器，使得经过脑电特征映射的脑电特征向量尽可能与潜在空间向量相等，得到脑电特征映射向量，即即图像特征向量；

先对受试者观看的视频进行剪辑处理，得到编码器的输入图片，输入图片通过VGG-11神经网络进行编码，得到潜在空间的特征向量；

通过反卷积进行特征向量的解码；

对解码图片进行判别，看其是否符合输出条件；