[发明专利]一种机载多模态视频画面增强显示方法及系统

说明书

本发明属于机载图形图像处理领域，涉及一种机载多模态视频画面增强显示方法及系统。该方法通过实时多模态视频与彩色视频的亚像素精度匹配，并在图像亮度空间基于显著度信息加权融合两类视频源，进而在色度和饱和度空间把彩色视频信息迁移到多模态视频信息中，实现了多模态视频与彩色视频两类数据的有机融合，使得融合视频即保留了多模态视频的实时特性，又加入了符合飞行员观测的丰富彩色视频颜色纹理信息，增强了机载多模态视频画面的可读性。本发明能够改善飞行员在低能见度条件下对机场跑道、障碍物的空间情景感知能力，进而降低飞机进近着陆过程中的可控飞行撞地、跑道入侵等典型事故，提高飞机的安全性。

技术领域

本发明属于机载图形图像处理领域，涉及一种机载多模态视频画面增强显示方法。

背景技术

综合视景系统(CVS),通过多模态视频与三维数字地图融合，在飞行进近阶段，为飞行员提供机场跑道、危险地形与障碍物的等效目视视频画面信息。它综合了合成视景系统(SVS)大视场、高分辨率、真彩色的优点以及增强视景系统(EVS)实时多模态(长波红外、短波红外与毫米波)视频画面的优点。虚实融合的CVS实时视景信息显著提升飞行员情景意识，增强飞行安全性。

传统的综合视景系统中，由于固有的导航参数、传感器标定等误差，合成视景画面与增强视景画面有一定的不匹配，一般采用“画中画”的方式在合成视景虚拟画面中嵌入多模态视频画面。因此，在综合视景系统输出画面中，多模态视频部分基本呈现的是单色的实时视频传感器信息，缺乏可以辨识的真实颜色信息和细节信息。

为了增强综合视景系统中多模态视频画面显示内容，主要采用虚拟生成的线框、文字、色块来标注跑道和障碍物信息。同样，由于几何误差的存在，综合视景系统计算得到的标示信息与实际位置存在误差，对飞行员造成困扰。

发明内容

本发明提出一种机载多模态视频画面增强显示方法，旨在提升综合视景多模态视频的可读性。

本发明的技术方案如下：

该机载多模态视频画面增强显示方法，包括：

获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频；

根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；

以彩色视频帧为浮动图像，多模态视频帧为固定图像，基于建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，通过参数优化，对浮动图像进行几何变换，实现优化配准(获得与固定图像之间的亚像素配准关系)；

将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合；

将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。

可选地，所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚和偏航数据。

可选地，所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准。

可选地，所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数(优化目标函数)进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。