[发明专利]一种用于多无人机协同实时侦察的全景视频监控方法

摘要

本发明公开了一种用于多无人机协同实时侦察的全景视频监控方法，具体步骤为：构建用于多无人机协同实时侦察的全景视频监控系统，包括：数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块；数据采集模块采集军事无人机下视侦察图像；数据接收模块集中接收与解析侦察数据；数据处理模块处理视频图像数据、更新三维虚拟场景要素；三维渲染引擎模块实现虚拟三维场景的渲染与漫游。本发明实现了多无人机协同侦察应用下的图像融合、渲染，无人机的快速切换与跟踪。

主权项

一种用于多无人机协同实时侦察的全景视频监控方法，其特征在于具体步骤为：第一步 构建用于多无人机协同实时侦察的全景视频监控系统用于多无人机协同实时侦察的全景视频监控，包括：数据采集模块、数据接收模块、数据处理模块和三维渲染引擎模块；其中，数据采集模块功能为：采集军事无人机下视侦察图像，并将无人机下视侦察图像与无人机地理信息打包发送；数据接收模块功能为：解析无人机下视侦察图像与地理信息数据包，将无人机下视侦察图像与地理信息分离，并将无人机下视侦察图像数据格式转换为RGB格式；数据处理模块功能为：对无人机下视侦察图像进行预校正，对有重合区域的图像进行融合，更新三维虚拟环境中虚拟无人机位置、姿态，以及虚拟相机的视锥体外框；三维渲染引擎模块功能为：将融合后无人机下视侦察图像、无人机及虚拟相机视锥体外框渲染到三维场景中，实现无人机侦察区域的场景漫游，以及关键场景视角和无人机视角间的快速切换与跟踪；第二步 数据采集模块采集军事无人机下视侦察图像数据采集模块采集侦察区域的下视侦察图像数据，获取无人机的位置、姿态地理信息，将二者打包成TCP/IP数据包，通过无线发送装置将打包的数据以无线方式发送到分布在各个区域的无线数据接收站点，无线数据接收站点作为中介将数据通过有线网络发送；第三步 数据接收模块集中接收与解析侦察数据数据接收模块对前端多无人机协同侦察获取的无人机下视侦察图像与地理信息数据包进行集中解析，分离出无人机下视侦察图像数据和位置、姿态地理信息数据，通过视频服务器将无人机下视侦察图像数据格式转换为RGB格式，同无人机位置、姿态地理信息一起，通过有线IP网络进行传输；第四步 数据处理模块处理视频图像数据、更新三维虚拟场景要素数据处理模块以线程方式处理每个无人机采集的无人机下视侦察图像数据；首先对采集的无人机下视侦察图像数据通过摄像机标定方式进行预校正，获取校正后的视频图像数据，结合无人机的位置、姿态地理信息数据，对多无人机重合区域的视频图像数据基于特征点匹配进行融合，得到图像变换矩阵、下视侦察图像各像素融合权重因子构成的Alpha图像和变换后的视频图像；然后用无人机位置、姿态地理信息更新三维虚拟场景中无人机的位置与姿态变量，结合图像变换矩阵，更新虚拟相机视锥体外框的位置与姿态变量；第五步 三维渲染引擎模块实现虚拟三维场景的渲染与漫游三维渲染引擎模块通过顶点着色器和片段着色器将无人机下视侦察图像数据进行融合，获得融合后无人机下视侦察图像，通过OpenSceneGraph三维场景渲染平台，将融合后无人机下视侦察图像连同经无人机地理信息更新后的三维虚拟场景中的无人机及虚拟相机视锥体外框，渲染到虚拟三维场景环境中，通过OpenSceneGraph三维场景渲染平台的三维场景漫游器实现三维场景的漫游，通过基于OpenSceneGraph三维场景渲染平台接口开发的图形用户界面实现关键场景视角和无人机视角间的快速切换与跟踪；至此，实现了用于多无人机协同实时侦察的全景视频监控。