[发明专利]一种面向扑翼飞行器的多模态控制系统

权利要求书

1.一种面向扑翼飞行器的多模态控制系统，其特征在于，所述面向扑翼飞行器的多模态控制系统包括：多模态信号同步采集模块、多模态信号处理模块，以及搭载在受控扑翼飞行器上的机载扑翼飞行器控制模块；其中，

所述多模态信号同步采集模块用于捕获操控者发出的多模态操控信号，并将捕获的多模态操控信号发送至所述多模态信号处理模块；其中，所述多模态操控信号包括操控者通过运动想象产生的脑电信号、操控者通过眼部运动产生的眼动信号、操控者通过改变头部姿态产生的头动信号和操控者的手动操控信号；

所述多模态信号处理模块用于基于所述多模态操控信号中的至少一种信号，生成控制指令，并将所述控制指令发送至所述机载扑翼飞行器控制模块；

所述机载扑翼飞行器控制模块用于根据所述控制指令控制受控扑翼飞行器的飞行状态，使得所述受控扑翼飞行器按照操控者的意愿执行相应的飞行动作；

所述多模态信号同步采集模块包括Emotiv脑电设备、姿态传感器和航模遥控器；

所述Emotiv脑电设备佩戴于操控者的头部，用于采集操控者的脑电信号和眼动信号，并将采集的脑电信号和眼动信号发送至所述多模态信号处理模块；

所述姿态传感器设置在所述Emotiv脑电设备上，用于采集操控者的头动信号，并将采集的头动信号发送至所述多模态信号处理模块；

所述航模遥控器用于接收操控者的手动操控信号，并将接收的手动操控信号发送至所述多模态信号处理模块；其中，所述航模遥控器包括两个控制摇杆，其中一个控制摇杆用于控制所述受控扑翼飞行器的飞行高度，另外一个控制摇杆用于控制所述受控扑翼飞行器的飞行姿态；

所述多模态信号处理模块具体用于：

解析所述多模态信号同步采集模块采集的操控信号，并根据操控者的选择指令确定当前要使用的操控信号，识别操控者的操控意图，生成控制指令；

解析所述多模态信号同步采集模块采集的操控信号，包括：

对所述Emotiv脑电设备采集的脑电信号依次进行滤波、特征提取和分类，获得操控者当前的运动想象状态；其中，所述运动想象状态包括：平静状态、左手运动想象、右手运动想象、舌部运动想象和足部运动想象；

对所述Emotiv脑电设备采集的眼动信号依次进行滤波、特征提取和分类，获得操控者当前的眼动状态；其中，所述眼动状态包括：平静状态、左眼眨动、右眼眨动、双眼眨动和皱眉；

对所述姿态传感器采集的头动信号进行解析，获取操控者当前头部相对于初始状态时的俯仰角度和水平偏转角度；

对所述航模遥控器接收的手动操控信号进行解析，获取所述航模遥控器的两个控制摇杆的摆动角度；

所述识别操控者的操控意图，生成控制指令，包括：

当操控者选择一种操控信号时，按照当前要使用的操控信号与控制指令的映射关系，生成相应的控制指令；当操控者选择多种操控信号时，分别按照当前要使用的每一操控信号与控制指令的映射关系，确定每一操控信号对应的控制效果，并将各操控信号对应的控制效果叠加，生成相应的控制指令；

脑电信号与控制指令的映射关系为：左手运动想象对应受控扑翼飞行器左转30度指令，右手运动想象对应受控扑翼飞行器右转30度指令，舌部运动想象对应受控扑翼飞行器盘旋指令，足部运动想象对应受控扑翼飞行器起飞或降落指令；

眼动信号与控制指令的映射关系为：左眼眨动对应受控扑翼飞行器左转30度指令，右眼眨动对应受控扑翼飞行器右转30度指令，皱眉对应受控扑翼飞行器盘旋指令，双眼眨动对应受控扑翼飞行器起飞或降落指令；

头动信号与控制指令的映射关系为：头部水平偏转角度对应受控扑翼飞行器的转动角度指令，头部俯仰角度对应受控扑翼飞行器的高度升降指令；

当运动想象状态为平静状态时，无控制指令产生；

当眼动状态为平静状态时，无控制指令产生；

当头部姿态位于初始状态时，无控制指令产生；

当航模遥控器的两个控制摇杆均处于中值状态时，无控制指令产生；

所述机载扑翼飞行器控制模块还用于采集所述受控扑翼飞行器的飞行状态信息，并将采集的飞行状态信息发送至所述多模态信号处理模块，由所述多模态信号处理模块以可视化的方式向操控者展示所述受控扑翼飞行器当前的飞行状态；

所述飞行状态信息包括所述受控扑翼飞行器的飞行姿态和飞行高度；

所述多模态信号处理模块用于根据所述飞行状态信息生成实时姿态及高度曲线；

所述机载扑翼飞行器控制模块还用于根据实时接收的扑翼飞行器当前的高度和姿态，形成闭环反馈控制，实现左转、右转、盘旋和起飞降落。