[发明专利]基于蓝牙脑电耳机的多旋翼无人机意念遥操作系统及操作方法

摘要

本发明公开了一种基于脑电机器学习的无人机意念遥操作系统及操作方法，其中操作系统包括一脑电感知模块，包括图像采集装置以及脑电测量设备，图像采集装置用于接收无人机的飞行状态及周围的环境信息，脑电测量设备用于获取无人机操作者脑部激发的大脑电流脉冲信号；一信号处理模块，从脑电感知模块获取的大脑电流脉冲信号中分离出四种需要的脑电信号；一深度学习模块，将分离出四种脑电信号作为输入进行识别并输出无人机操作指令；一地面站控制模块，根据所述深度学习模块输出的无人机操作指令无人机进行操作。本发明针对无人机控制所设计的脑电信号特征模式，使得控制无人机变得更为简单、可靠。

主权项

1.一种采用基于脑电机器学习的无人机意念遥操作系统的无人机意念遥操作方法，其中，基于脑电机器学习的无人机意念遥操作系统，包括：一脑电感知模块，包括图像采集装置以及脑电测量设备，所述图像采集装置用于接收无人机的飞行状态及周围的环境信息，所述脑电测量设备用于获取无人机操作者脑部激发的大脑电流脉冲信号；一信号处理模块，从所述脑电感知模块获取的大脑电流脉冲信号中分离出四种需要的脑电信号δ波、θ波、α波、β波；一深度学习模块，将分离出四种脑电信号δ波、θ波、α波、β波作为输入进行识别并输出无人机操作指令；一地面站控制模块，根据所述深度学习模块输出的无人机操作指令无人机进行操作；其特征在于，包括以下步骤：第一步，读取脑电耳机获取的大脑电流脉冲信号并传至信号处理模块；第二步，信号处理模块对第一步收到的原始脑电信号通过离散短时傅里叶变换的方法，进行特征提取和去除其中的干扰信号，分离出四种需要的脑电信号δ波、θ波、α波及β波并存入数据库，作为训练样本；第三步，使用Bagging算法生成集成神经网络中的个体网络，使用BP神经网络作为分类模型对个体网络中的样本进行离线学习；第四步，建立几何模型，计算所有个体网络的决策重心，得到集成网络结果；第五步，将集成网络的结果通过联合脑电信号质量的识别筛选算法，获取到可以用于无人机控制的较为稳定的识别结果；第六步，将识别结果发送给地面站控制模块控制无人机；所述第二步包括以下过程：利用离散短时傅里叶变换的方法，将脑电信号EEG从时域变换到频域，进行特征提取和去除其中的干扰信号，将脑电中δ波、θ波、α波及β波四种脑电信号提取出来，离散短时傅里叶变换公式如下：x[n]是输入的离散信号，即原始脑电信号EEG；X(w_k)是短时傅里叶变化结果；R表示窗口长度；w_k是固定的中心频率，m、n是自变量，j是虚数单位；将窗口长度R设为2s，每次采样1024个点；根据delta:1‑4Hz,theta：4‑7Hz，alpha：8‑13Hz，beta：13‑30Hz各自的频率段，将固定中心频率w_k分别设为w₁＝2.5Hz，w₂＝5.5Hz，w₃＝10.5Hz，w₄＝21.5Hz带入上面的变换公式，即可频域中提取分离得到δ波、θ波、α波及β波各自的频率谱，分别表示为X_d(w₁)，X_t(w₂)，X_a(w₃)，X_b(w₄)，利用短时傅里叶反变换，公式如下：L为频率采样点数；即可得到时域中δ波、θ波、α波及β波的实时变化值D(n)，T(n)，A(n)，B(n)；将实时变化值D(n)，T(n)，A(n)，B(n)存入数据库，作为一次样本；通过神经网络模型的训练，得到样本集S＝{x_i|i＝1,2,3…N}，其中x_i为单个训练样本，包括D(n)，T(n)，A(n)，B(n)以及对应的理想输出结果，N为训练样本个数；所述第三步包括以下过程：在原始样本集中通过bootstrap技术随机抽取样本构成M个子训练集{S_m|m＝1,2,3…M}，子训练集规模通常与原始训练集相当，样本允许重复选择；使用BP神经网络对各个子训练集进行训练：设子训练集S_m的理想输出为O＝{O_m}_1≤m≤M，定义误差函数其中，W＝{W_hp}_{1≤h≤H,1≤p≤P}和w＝{w_pu}_{1≤p≤P,1≤u＜U}分别为输出层与隐层之间的权矩阵和隐层和输入层之间的权矩阵，H、P和U分别为输入层、隐层和输出层节点的数量，ξ＝(ξ₁,…,ξ_i)^T∈Rⁱ为输入样本，为网络实际输出；为网络的隐层输出；对当前权值W^k和w^k定义权值的增量为其中α为动量项因子，η为权重系数。