[发明专利]机载增强现实设备的多源融合定位及增强显示标定方法

权利要求书

1.一种机载增强现实设备的多源融合定位及增强显示标定装置，其特征在于，包括源红外标志点模块、惯导传感器模块、红外图像采集阵列模块、双目红外视觉定位传感器、无源红外靶标图像模块以及显控处理计算机；其中：

所述双目红外视觉定位传感器安装在飞行员的座椅后上方，由双目红外图像传感器和惯导传感器组成；根据显控处理计算机统一发出的时间同步信号，双目红外图像传感器采集头戴式增强现实显示设备上安装的有源红外标志点模块的红外标记点图像，提取图像中的红外标记点的二维坐标，根据匹配2D-3D点匹配信息，结合已知的红外标记点的三维坐标，对头戴增强现实显示设备的位姿进行实时的跟踪定位计算；惯导传感器则实时采集飞机座舱的角速度和加速度位姿数据；

所述有源红外标志点模块规则地分布在头戴式增强现实显示设备外表面；红外标志点模块的红外LED灯由显控处理计算机发出的时间同步信号统一控制；

所述惯导传感器模块安装在头戴式增强现实显示设备上，用于对头戴式增强现实显示设备的角速度、加速度数据进行实时采集，并与所述双目红外视觉定位传感器中的惯导传感器采集的飞机座舱的角速度、加速度数据做消减处理，获得头戴式增强现实显示设备相对于飞机座舱的角速度、加速度数据；

所述无源红外靶标图像模块安装在飞行员座椅正前方的前仪表板上；

所述红外图像采集阵列模块安装在头戴式增强现实设备前侧，能够在头戴式增强现实设备活动的范围内，对无源红外靶标图像模块进行定位识别；

所述显示处理计算机作为主控制单元，对各传感器的数据的时间进行同步对齐控制，并按照实时位姿融合定位流程，根据各传感器的主次关系对头戴增强现实显示设备的位姿进行融合计算。

2.根据权利要求1所述的机载增强现实设备的多源融合定位及增强显示标定装置，其特征在于，使用PnP算法对头戴增强现实显示设备的位姿进行实时的跟踪定位计算。

3.一种机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，包括定位注册及显示标定流程：

步骤1，飞行员进入座舱后，调整好座椅位置，佩戴调整好头戴式增强现实显示设备，面向无源红外靶标图像模块的位置保持稳固、舒适的佩戴；

步骤2，头戴式增强现实显示设备上的红外图像采集阵列模块采集飞机前仪表板的无源红外靶标图像模块，计算头戴式增强现实显示设备相对于无源红外靶标图像模块的位姿；

步骤3，飞行员座椅上的双目红外视觉定位传感器采集头戴式增强现实显示设备上布置的有源红外标志点模块的图像，提取计算所有红外标志点在图像中的二维坐标，进行图像上的红外标志点与头盔上的红外标志点的匹配，根据匹配2D-3D点匹配信息，结合红外标记点的二维坐标和三维坐标，使用PnP算法计算得到头戴式增强现实显示设备相对于双目红外视觉定位传感器的位姿；

步骤4，由步骤2和步骤3得到的位姿数据，计算得到双目红外视觉定位传感器相对于无源红外靶标图像模块的位姿；

步骤5，以无源红外靶标图像模块的位置为世界坐标系的原点，通过步骤3中头戴式增强现实显示设备相对于的双目红外视觉定位传感器位姿和步骤4中双目红外视觉定位传感器相对于红外靶标的位姿计算得到头戴式增强现实显示设备相对无源红外靶标图像模块的位姿，完成头戴式增强现实显示设备在飞机座舱下的定位标定。

4.根据权利要求3所述的机载增强现实设备的多源融合定位及增强显示标定方法，其特征在于，所述方法还包括：

步骤6，由显控处理计算机在无源红外靶标图像模块的原点位置生成放置一个与无源红外靶标图像物理形状大小一致的虚拟靶标物体，飞行员通过头戴式增强现实显示设备观察增强显示的虚拟靶标物体与真实的无源红外靶标图像的空间一致性；

步骤7，当飞行员观察到虚拟靶标物体与真实的无源红外靶标图像的空间位置有差异时，通过调整虚拟靶标物体的位姿，使得虚拟靶标物体与真实的无无源红外靶标图像空间位置保持一致，计算得到调整后的虚拟靶标物体相对于世界坐标系的原点的位姿差；

步骤8，根据步骤7得到的虚拟靶标物体相对于世界坐标系的原点的位姿差，调整头戴式增强现实显示设备中显示的其他虚拟图符或者物体的空间位置，完成头戴式增强现实显示设备在飞机座舱下的显示标定。