[发明专利]一种基于无人机的全景图像拼接方法及装置

说明书

本发明公开了一种基于无人机的全景图像拼接方法及装置，该方法包括如下步骤：从视频流中依次提取关键帧图像；根据航迹规划信息，将飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；对在后关键帧图像的特征点与在先关键帧图像的特征点进行匹配，对在后关键帧图像与在先关键帧图像进行匹配并计算之间的第一变换关系；根据映射关系将基准关键帧图像映射到模板上，递推计算当前关键帧图像相对于基准关键帧图像的变换关系，根据映射关系和变换关系将当前关键帧图像映射到模板上。

【技术领域】

本发明涉及计算机视觉图像快速处理技术领域，尤其涉及一种基于无人机的全景图像拼接方法及装置。

【背景技术】

突发事件的信息获取及分析是我国应急管理基础研究亟需解决的五大核心科学问题之一。快速、及时、准确地获取突发事件现场信息，能够为态势分析、策略制定提供翔实可靠的参考数据，辅助应急决策，提高突发事件应对能力。

基于无人机的航空遥感系统具有机动灵活、响应迅速且无人员伤亡危险的特点，在突发事件现场信息获取中显示出巨大的优势，越来越多地应用于灾害管理和应急测绘领域。但是无人机采集的图像大小和分辨率受飞行高度和机载传感器制约，得到的都是单张、覆盖范围小的影像，不能整体反映突发事件现场环境，只有通过图像拼接方法实现图片从单张到全景、从局部到整体的转变，将图片有序结合起来，才能将无人机采集现场信息转化为真正对应急决策有用的突发事件大场景全景图。

现有的图像全景拼接方法根据拼接时间可以分为两类，一类是后处理，一类是实时处理。如申请号为CN 103310433 A的《一种利用影像拓扑骨架的无人机影像快速匹配方法》专利，通过图像拓扑骨架进行图像分层级，之后再进行匹配。申请号为CN 103426153 A的《一种无人机遥感影像快速拼接方法》专利，基于瓦片金字塔进行多层级网格化分区，之后再进行匹配。这两个专利描述的方法都是针对大量的、已经采集完毕的图片进行的后处理模式，不能充分体现无人机快速响应的优势。

申请号为CN 102201115 A的《无人机航拍视频实时全景图拼接方法》专利描述了一种基于无人机传回基站的视频图像，实现边飞行边拼接的拼接方法，但是该方法采用了“无人机返回路径时空融合图像帧到全景拼接”，需要利用无人机的GPS位置信息确定时间不相邻但空间相邻的图像帧，优化帧到全景的变换关系，实现图像融合和全景图构建。而确定时间不相邻空间相邻的图像帧，需要大量且精确航迹规划参数，飞机实际飞行过程中飞行高度、GPS精度、自身晃动等均可能影响此效果。更重要的两点是：一、该专利使用的SURF特征提取方法应对图像旋转变化表现一般，在相邻两条航线间转弯处所得帧图像相对于其他航线图像有一定旋转角度，预期拼接效果不佳。二、该专利仅仅提出全流程的帧提取拼接过程，但是并未提供任何能快速提取拼接的实施性方案，传统的拼接速度很慢，难以达到实时效果。

【发明内容】

为了克服现有技术的不足，本发明提出一种基于无人机的全景图像拼接方法，可以实时拼接图像，解决图像处理滞后于图像采集的问题，充分体现无人机响应迅速的优势。

一种基于无人机的全景图像拼接方法，包括如下步骤：

提取步骤，从无人机传回的视频流中依次提取关键帧图像；

预处理步骤，根据所述无人机的航迹规划信息，将所述无人机的飞行时间划分为多个时间段，并依次将关键帧图像划归到对应设定的时间段内，对奇数时间段或偶数时间段内的关键帧图像进行旋转，使得奇数时间段内的关键帧图像和偶数时间段内的关键帧图像的方向一致；