[发明专利]一种驾驶舱人机视觉交互系统

摘要

本发明是一种驾驶舱人机视觉交互系统，能够适用于民用飞机下一代触控式的驾驶舱，与触控交互形成互为冗余的人机交互手段，在特定的人机交互场景中(如切换MFD信息、更改自动飞行模式、HUD操作等)，本发明使交互方式更加直觉化，其采用的视线测量方法能够保证视线测量的实时性和精度能够支持飞行员提高情景意识。

主权项

1.一种驾驶舱人机视觉交互系统，其特征在于包括穿戴结构体、穿戴式显示部件、视线测量与控制部件、头部定位部件、处理器A和处理器B；所述的穿戴结构体被配置为能够为穿戴式显示部件、头部定位部件及视线测量与控制部件提供物理安装接口，当佩戴时，穿戴结构体相对于佩戴者头部保持稳固，并使穿戴式显示部件的光学系统置于飞行员眼球前方；所述的穿戴式显示部件被配置为安装在穿戴结构体上，用于显示任何由处理器B生成的图像信号DS；所述的视线测量与控制部件被配置为安装在穿戴结构体上，当飞行员佩戴时，执行以下功能：1)用于感应佩戴者的眼部运动；2)建立飞行员眼动模型，形成眼动信号RV，眼动信号包含两部分信息，一部分是眼球转动的定位信息RvP，另一部分是感应佩戴者是否出现眨眼动作的控制信息RvB；将RV发送给处理器A；所述的头部定位部件用于测量飞行员头部的姿态，包括陀螺仪、定位传感器以及定位标记，其中：1)陀螺仪被配置为安装在穿戴结构体上，能够生成惯性定位信号RI，并向处理器A发送；2)定位传感器被配置为安装在能够感应定位标记的驾驶舱内任一其他飞机系统的物理结构上，传感方向为能够覆盖飞行员座椅区域的方向；3)能够生成传感定位信号RS，并向处理器A发送；4)定位标记被配置为安装在穿戴结构体上；所述的处理器A被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够接收定位传感器的信号，处理为视线测量信号，具体执行以下功能：1)接收来自陀螺仪的惯性定位信号RI，来自定位传感器的传感定位信号RS，以及来自视线测量与控制部件的眼动信号RV；2)执行惯性定位信号RI与传感定位信号RS的数据融合，形成头部定位信号RF；3)将RF与RvP信号进行叠加，转换至驾驶舱坐标系，并附带RvB信号，形成视线测量信号RFV，并发送给处理器B；所述的处理器B被配置为安装在驾驶舱中不影响飞行员正常操纵飞机视线的位置，能够执行以下功能：1)接收来自飞机系统的机载飞行信息信号FI，接收来自处理器A的视线测量信号RFV；2)建立驾驶舱模型，根据RFV，高亮识别飞行员视线对应的驾驶舱飞行显示信息,形成图像信号DS，发送至穿戴式显示部件；3)检测视线测量信号RFV中的RvB信号，若包含佩戴者眨眼的信息，则根据功能2)识别的飞行显示信息，识别出该信息对应的交互，形成交互指令CI，并发送给飞行系统。