[发明专利]机载增强现实设备的多源融合定位及增强显示标定方法

说明书

本发明公开了一种机载增强现实设备的多源融合定位及增强显示标定方法，主要由头戴式增强现实显示设备的上安装的有源红外标志点模块、惯导传感器模块、红外图像传感器模块，飞机座椅上安装的双目红外视觉定位传感器，飞机座舱安装的无源红外靶标图像模块、显控处理计算机及其配套的定位注册与显示标定、实时位姿融合定位工作流程实现完成。本发明实现基于惯导及红外视觉传感器的多源融合定位、增强现实显示标定功能，为头戴式增强现实显示设备提供一种具有高精度、高可靠性、鲁棒性的综合定位显示标定解决方案。

技术领域

本发明属于飞机座舱显控系统的交互设备，具体涉及用于机载头戴式增强现实显示设备的一种多源融合定位及增强显示标定方法。

背景技术

具备增强现实显示与头动控制功能的增强现实显示头盔器，是飞行员实现全向态势感知能力与保障飞行安全的理想显控交互设备。要实现机载环境的增强现实显示，增强现实显示设备必须有准确的定位技术与增强显示技术，其精度及鲁棒性直接影响增强显示的精度，甚至影响到飞行安全。相比地面的增强现实显示设备，机载的增强现实显示设备的定位及显示注册方案，更容易受到机载环境复杂的光环境、电磁环境以及振动环境的影响。目前，用于增强现实定位采用的方法比较多，如惯导定位、超声波定位、磁性定位、红外激光扫描定位、视觉图像定位等，但单一的定位方法难以满足机载的定位精度要求，且很难适应机载复杂的应用环境，因此也无法准确的获得高精度的增强显示效果。

发明内容

本发明针对复杂的机载环境，提供一种面向机载头戴式增强现实显示设备的定位及增强显示标定方法，实现基于惯导及红外视觉传感器的多源融合定位、增强现实显示标定功能，为头戴式增强现实显示设备提供一种具有高精度、高可靠性、鲁棒性的综合定位显示标定解决方案。

为了实现上述任务，本发明采用以下技术方案：

一种机载增强现实设备的多源融合定位及增强显示标定装置，包括源红外标志点模块、惯导传感器模块、红外图像采集阵列模块、双目红外视觉定位传感器、无源红外靶标图像模块以及显控处理计算机；其中：

所述双目红外视觉定位传感器安装在飞行员的座椅后上方，由双目红外图像传感器和惯导传感器组成；根据显控处理计算机统一发出的时间同步信号，双目红外图像传感器采集头戴式增强现实显示设备上安装的有源红外标志点模块的红外标记点图像，提取图像中的红外标记点的二维坐标，根据匹配2D-3D点匹配信息，结合已知的红外标记点的三维坐标，对头戴增强现实显示设备的位姿进行实时的跟踪定位计算；惯导传感器则实时采集飞机座舱的角速度和加速度位姿数据；

所述有源红外标志点模块规则地分布在头戴式增强现实显示设备外表面；红外标志点模块的红外LED灯由显控处理计算机发出的时间同步信号统一控制；

所述惯导传感器模块安装在头戴式增强现实显示设备上，用于对头戴式增强现实显示设备的角速度、加速度数据进行实时采集，并与所述双目红外视觉定位传感器中的惯导传感器采集的飞机座舱的角速度、加速度数据做消减处理，获得头戴式增强现实显示设备相对于飞机座舱的角速度、加速度数据；

所述无源红外靶标图像模块安装在飞行员座椅正前方的前仪表板上；

所述红外图像采集阵列模块安装在头戴式增强现实设备前侧，能够在头戴式增强现实设备活动的范围内，对无源红外靶标图像模块进行定位识别；

所述显示处理计算机作为主控制单元，对各传感器的数据的时间进行同步对齐控制，并按照实时位姿融合定位流程，根据各传感器的主次关系对头戴增强现实显示设备的位姿进行融合计算。

进一步地，使用PnP算法对头戴增强现实显示设备的位姿进行实时的跟踪定位计算。

一种机载增强现实设备的多源融合定位及增强显示标定方法，包括定位注册及显示标定流程：