[发明专利]人机交互的闭环性鼠标标识控制系统

说明书

人机交互的闭环性鼠标标识控制系统，包括控制模块和显示器，显示器用于显示控制模块所管控的人机交互显示信号，人机交互显示信号包括鼠标标识；其特征在于，还包括与控制模块信号连接的运动方向拾取模块、眼电（EOG）信号拾取模块及脑电（EEG）信号拾取模块；本发明至少从身体运动方向信号、眼电（EOG）信号及脑电（EEG）信号三个维度定义完成鼠标标识的点击动作，另外又辅助从注意力水平直观显示和模拟阈值形成的过滤作用角度再次矫正工作状态，从视觉闭环反馈和情绪闭环反馈两个相互锲合的角度，构建出鼠标标识管控的基础型反馈系统从而提高人机交互对鼠标标识的管控效能。

技术领域

本发明涉及通过生物电实现的人机交互控制领域，具体是指一种基于EOG信号的人机交互的闭环性鼠标标识控制系统，不仅能够用于注意力水平训练，而且也能应用于办公文书操作等。

背景技术

目前通过生物电所实施的人机交互而实现鼠标标识控制方法比较多。例如本申请人于2019年11月28日提出的申请号为201911186189.7，名称为“一种基于EOG信号和头部姿态的驱动装置及驱动方法”专利申请，披露了包括控制模块及与控制模块信号连接的信号采集模块、显示模块，显示模块包括有显示界面，显示界面用于显示特定标识、操作部件的当前位置，信号采集模块用于采集用户头部的EOG信号和头部姿态信号并将所采集的信号传送给控制模块；控制模块用于对信号采集模块所采集的用户头部移动的姿态信号进行特征识别，并根据识别结果驱动特定标识在显示界面中移动到目标坐标位置捕捉操作部件；控制模块还用于对信号采集模块所采集的EOG信号进行特征识别，根据识别结果确认对特定标识所捕捉的操作部件的当前操作及其操作类型。其次，申请号为202010834455.9，名称为“一种基于手势识别的鼠标标识光标控制方法”，也披露了对采集到的用户手势视频数据进行信号处理并转化为光标的位置,从而能够灵活地控制鼠标标识移动到屏幕上的任何位置。该方案基于手势识别实现，只涉及鼠标标识光标的移动，而鼠标标识具体的点击、双击、左键等功能均没有涉及。这种控制方法过于简单而且维度单一，不适用于在有多维控制需求的人机交互设备上使用。

发明内容

对于通过生物电所实施的人机交互而实现鼠标标识控制，显然利用的主要因素在于生物电信号。由于显示在屏幕中的作业环境本身不仅内容多而且功能需求多进而要求鼠标标识必须精细操作，而且生物电信号本身又容易受到办公环境各种噪音和操作者个人心情的影响，为此导致利用生物电操控鼠标标识是一件非常不容易的事情。如果操作人员的视觉不佳就会在人机交互中出现工作效能低下的恶性循环后果。为了提高利用生物电信号操控鼠标的效能，本发明提出一种人机交互的闭环性鼠标标识控制系统，包括控制模块和显示器，所述显示器用于显示所述控制模块所管控的人机交互显示信号，所述人机交互显示信号包括鼠标标识；其特征在于，还包括与所述控制模块信号连接的运动方向拾取模块、眼电（EOG）信号拾取模块及脑电（EEG）信号拾取模块；其中，所述运动方向拾取模块，被布置为拾取表达鼠标标识运动方向控制意图的身体运动方向信号并基于所拾取的身体运动方向信号计算并输出运动方向控制指令给所述控制模块，所述控制模块用于响应所述运动方向控制指令而控制所述鼠标标识在所述显示器中的运动及其运动方向；所述眼电（EOG）信号拾取模块，被布置为拾取表达鼠标标识操作意图的眨眼信号并基于所拾取的眨眼信号计算并输出鼠标标识操作指令给所述控制模块；所述脑电（EEG）信号拾取模块，被布置为拾取脑电（EEG）信号并基于所拾取的脑电（EEG）信号计算并输出表征大脑注意力水平的注意力水平信号给所述控制模块，所述控制模块用于管控所述显示器同步显示反馈注意力水平模拟信号值，并在所述注意力水平模拟信号值大于模拟阈值时，响应所述鼠标标识操作指令允许形成所述鼠标标识的操作。

其中，所述注意力水平信号，是一种提取于精神集中时期相对于精神非集中阶段的脑电信号并通过构建支持向量机SVM分类器计算得到数据，该数据在显示或标定时，可以通过模拟数值来体现例如0～1数值段，数值越高说明注意力水平越高，或者在屏幕中通过一段颜色显示条标识。这些技术可以参考申请号为201911167595.9所披露的内容。而所述模拟阈值，是指在设计具体产品和系统时在所述控制模块中所设定的一个参考数值，用于信号比较或过滤。