[发明专利]一种机载综合视景系统虚实融合显示方法及系统

说明书

本发明属于机载图形图像处理领域，涉及一种机载综合视景系统虚实融合显示方法及系统。本发明提出的机载综合视景系统虚实融合显示方法，通过实时多模态视频与合成视景地图画面的亚像素精度匹配，一方面准确指示跑道和障碍物的精确位置，另一方面通过图像图形融合，在色彩和纹理上增强了综合视景画面，再进一步对障碍物三维图形进行几何校正融合，最终实现了多模态视频与合成视景地图画面的有机融合显示。本发明能够有效改善飞行员在低能见度条件下对机场跑道、障碍物的空间位置形态的感知精确，提升情景意识，降低飞行进近和着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。

技术领域

本发明属于机载图形图像处理领域，涉及一种机载综合视景系统虚实融合显示方法。

背景技术

综合视景系统(CVS)或增强合成视景系统(ESVS),通过多模态视频与三维数字地图融合，在飞行进近阶段，为飞行员提供机场跑道、危险地形与障碍物的等效目视视频画面信息。它综合了合成视景系统(SVS)大视场、高分辨率、真彩色的优点以及增强视景系统(EVS)实时多模态(长波红外、短波红外与毫米波)视频穿透气象障碍成像的优点。虚实融合的综合视景实时画面显著提升飞行员情景意识，增强飞行安全性。

传统的综合视景系统中，由于固有的导航参数、传感器标定等误差，合成视景画面与增强视景画面有一定的配准误差，为了降低虚实画面不一致造成的感知障碍，目前的解决方案有两种，一种是采用“画中画”的方式在合成视景虚拟画面中开窗显示多模态视频画面，忽略窗口边缘的不一致性。另一种是在多模态视频画面上叠加简化显示的地图线框(Framewire)图形，指示跑道、障碍物与地形。

上述两种方式都不可避免存在一定的画面不一致性，干扰飞行员对环境的认知和判断。另外合成视景画面与增强视景画面并没有获得精确的配准与融合，缺乏准确的跑道、障碍物等关键位置指示和可以辨识的真实场景颜色纹理等细节信息。

发明内容

本发明提出的综合视景虚实画面融合显示方法，旨在提升综合视景画面的虚实融合准确度和画面的可读性。

本发明的技术方案如下：

该机载综合视景系统虚实融合显示方法，包括：

1)获取当前机载定位信息以及相应的地图高程数据和正射影像，并结合飞行姿态信息，得出与多模态视频传感器当前帧一致的粗配准地图画面；

2)以所述粗配准地图画面为浮动图像f，当前多模态视频帧为参考图像f_R，根据建立的关于浮动图像与参考图像之间仿射变换的误差能量函数，优化得到亚像素配准精度的校正后地图画面；

3)将所述校正后地图画面进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量，将其中亮度分量与多模态视频进行图像融合；

4)将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果；

5)将建立的障碍物模型叠加在步骤4)融合后的图像画面中，渲染并输出虚实融合的综合视景画面。

基于以上方案，本发明还进一步作了如下优化：

可选地，步骤1)具体是：基于机载定位信息查询合成视景三维数字地图数据库，获得机场附近的地图高程数据和飞机前视方向设定范围的地图正射影像，结合飞行姿态信息和多模态视频传感器标定得到的传感器内部参数(主点、焦距等)对地图画面(即基于前述地图高程数据和地图正射影像渲染后的画面)进行透视投影变换，获取与多模态视频传感器当前帧一致的粗配准地图画面。

可选地，步骤1)中是根据计算机视觉中的针孔成像原理绘制得到所述粗配准地图画面。