[发明专利]基于多传感器测量与神经网络学习的无人机操作员状态评估方法

摘要

本发明提出了一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，建立与上述传感器特征与语义之间的映射关系，从而估计出操作员的决策等级。该方法便于更加直观地掌握操作员的实时状态，估计操作员当前是否适合该任务，以及对任务可做出相应的调整。由于采用了神经网络的学习方法，可建立不同操作员的特征空间，因此，适用于具有不同熟练程度的各种层次的无人机操作员。

主权项

1.一种基于多传感器测量与神经网络学习的无人机操作员状态评估方法，其特征在于，包括以下步骤：步骤一：传感器测量利用温度传感器检测操作员的体温，用于监测操作员不同情绪变化下的体温分布情况；利用心率传感器检测操作员的心率，用于监测操作员不同状态下的心率变化；利用人体动作、姿态检测的深度图像传感器检测操作员的姿态行为，用于监测操作员不同行为状态下的姿态变化；利用面部表情的可见光图像传感器检测操作员的面部表情，根据面部表情的变化检测操作员的心情状态；利用眼动仪传感器检测人的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态；利用人脑意念传感器检测操作员是否注意力集中；步骤二、利用上述传感器获取的操作员状态信息，构建多维特征空间样本库；根据不同操作员的样本，设计相应的神经网络训练学习感知器，建立与上述传感器特征与语义之间的映射关系，方法如下：1)首先构建多维的特征空间样本库根据人脑意念和眼动跟踪输出操作员的关注度，根据体温和面部表情输出操作员的心情，根据姿态判断操作员的肢体行为，根据心率、眼动跟踪以及姿态输出操作员的疲劳度；基于上述状态信息确定操作员状态特征输入矢量X，操作员状态特征输入矢量X包括人脑意念x1，眼动跟踪x2，体温x3，面部表情x4，姿态x5和心率x6，同时，确定操作员状态特征目标矢量T，操作员状态特征目标矢量T包括关注度T1，心情T2，肢体行为T3和疲劳度T4；2)设计相应的神经网络训练学习感知器①确定输入矢量X，目标矢量T，并由此确定各矢量的维数，r为输入矢量P的维数，r＝6；s为目标矢量T的维数，s＝4；确定网络结构大小的神经元节点数目q＝44；其数学模型可表示为Y为神经元输出，f为神经元非线性激励函数，X＝(x1,x2,...,x6)为神经元输入，W＝(ω1,ω2,...,ω6)为权矢量，其中包含多个权值，θ为神经元激活阈值；②参数初始化，赋给权矢量W在(‑1,1)的随机非零初始值，给出最大训练循环次数；③网络表达式：根据输入矢量X以及跟新权矢量W，计算网络输出矢量Y；④检查：检查输出矢量Y与目标矢量T是否相同，如果是，或已达最大循环次数，训练结束，否则转入⑤；⑤学习，根据下式所示，感知器的学习规则调整权矢量W，并返回③；W＝W+EPTθ＝θ+E此处E为误差矢量，E＝T‑Y；3)最后建立与上述传感器特征与语义之间的映射关系：首先对状态模型进行语义量化；选择很多对形容词用于建立操作员状态模型形容词集，形容词集包括多个形容词队，分别为“悲伤的–快乐的”、“疲劳的–平静的”、“焦虑的–中性的”、“紧张的–放松的”、“轻松的–压抑的”、“注意力集中的–分散的”、“低头的–抬头的”以及“清晰的–模糊的”；针对形容词集中的各个形容词队，将其分为四个等级进行评价，其评价分别是重度疲劳，轻微疲劳，良好，非常良好，分别对应的边界条件为t43，t42，t41，当疲劳度T4大于操作员设定的阈值时T4＞t43，操作员重度疲劳，当T4小于操作员设定的阈值时T4＜t41，操作员状态非常良好；同样的，将其他各形容词队分别将其分为四个等级进行评价；然后建立状态空间；首先获得各测试用户对某一状态m的第n对形容词的评价量化值y_mn，获得一维矩阵Y_m＝[y_m1,y_m2,...,y_mn]；再对某一状态m的第n对形容词的评价量化值求平均得到并按照公式进行标准化，得到矩阵X_m，X_m＝[x_m1,x_m2,...,x_mn]；其中M表示测试用户一共有M状态；设E为公共因子矩阵，Z为载荷矩阵，其中式中，公共因子矩阵E的第m行em＝(em1,em2,...,emn)对每一操作用状态m在状态空间的坐标，载荷矩阵Z的第n行Zn＝(Zn1,Zn2,...,Znk)对应形容词n在K维空间的坐标；再设U为独特因子，D作为独特因子的权值，为对获得的矩阵X按公式做因子分析：X＝EZ'+UD通过以上步骤，将原先的N维操作员的状态空间降至K维，形成K维的正交状态空间，建立形容词与操作员向量的映射；步骤三：构建语义组合构建的树形结构，给出操作员的状态评估，估计操作员当前是否适合处理当前任务，以及对无人机任务控制站任务做出相应的调整。