[发明专利]一种机载多模态视频画面增强显示方法及系统

权利要求书

1.一种机载多模态视频画面增强显示方法，其特征在于，包括：

获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频；

根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；

以彩色视频帧为浮动图像，多模态视频帧为固定图像，基于建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，通过参数优化，对浮动图像进行几何变换，实现优化配准；

将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合；

将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。

2.根据权利要求1所述的机载多模态视频画面增强显示方法，其特征在于：所述机载定位信息包括经度、维度和高度；所述飞行姿态信息包括俯仰、横滚和偏航数据。

3.根据权利要求2所述的机载多模态视频画面增强显示方法，其特征在于：所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准。

4.根据权利要求1所述的机载多模态视频画面增强显示方法，其特征在于：所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。

5.根据权利要求1所述的机载多模态视频画面增强显示方法，其特征在于：所述图像融合，具体是采用基于显著度的融合方法，在彩色视频帧亮度分量图像和多模态视频帧中逐像素应用拉普拉斯算子，得到初始显著度图像；再对初始显著度图像进行导向滤波后，输出平滑的显著度图像；以显著度图像亮度值作为加权权重，对彩色视频帧的亮度分量和多模态视频帧进行逐像素加权平均，输出融合后的亮度分量。

6.一种机载多模态视频画面增强显示系统，其特征在于，包括：

视频获取模块，用于获取预先采集记录的进近过程中所拍摄的清晰彩色视频和实时的多模态视频；

图像配准模块，用于根据当前机载定位信息和飞行姿态信息，截取预先采集记录的对应彩色视频帧，将其平移缩放到当前多模态视频帧的尺度和位置进行粗配准；然后以彩色视频帧为浮动图像，多模态视频帧为固定图像，根据建立的关于浮动图像与固定图像之间仿射变换的误差能量函数，对浮动图像进行几何变换，实现优化配准；

亮度图像分量融合模块，用于将配准好的彩色视频帧进行HSV颜色空间分解，获得分解后的色度、饱和度和亮度分量；将彩色视频帧的亮度分量与多模态视频帧进行图像融合；

图像合并输出模块，用于将融合后的亮度分量再与彩色视频帧的色度和饱和度分量合并，输出融合结果。

7.根据权利要求6所述的机载多模态视频画面增强显示系统，其特征在于：所述粗配准，具体是利用组合导航系统输出的当前飞机的经度、纬度、高度、俯仰、横滚和偏航数据，依次定位查询预先采集记录的彩色视频帧位置；利用摄像机内部参数对彩色视频帧进行缩放平移，使其与当前实时多模态视频帧画面粗配准。

8.根据权利要求6所述的机载多模态视频画面增强显示系统，其特征在于：所述优化配准，具体是以归一化总梯度(NTG)作为仿射变换的误差能量函数进行迭代优化，输出精确的彩色视频帧与实时多模态视频帧之间的几何变换关系；以优化后的仿射变换参数对彩色视频帧进行几何变换，使其与实时多模态视频帧获得亚像素级别的精确配准效果。