[发明专利]一种视频监控和遥感图像的天地多视图对齐方法

说明书

本发明公开了一种视频监控和遥感图像的天地多视图对齐方法，通过对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头和经纬度坐标的低精度映射关系，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；然后分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；根据图像块的特征、类别、映射的位置关系，利用匈牙利算法，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的粗匹配，得到图像块对的对应集合；利用图像块对的对应集合选取数据，建立监控摄像头画面和遥感图像精确的映射关系。

技术领域

本发明涉及目标检测领域，具体涉及一种视频监控和遥感图像的天地多视图对齐方法。

背景技术

图像配准是将同一地点、不同时间或不同传感器拍摄的两幅图像进行几何匹配的过程。图像配准是图像融合、变化检测等应用的前提和基础，图像配准的精度对后续的应用具有重要的影响。

基于特征的图像配准方法是目前图像配准最常用的方法之一，其最大的优点在于能够将对整个图像进行的各种分析转化为对图像特征信息，即特征点、特征曲线、边缘、较小的区域的分析，从而大大减小了图像处理过程的运算量，而且对灰度变化、图像变形以及遮挡等都有较好的适应能力，以及能够实现在复杂成像条件下图像的快速、精确配准。由于噪声、拍摄条件、季节变化、视角变化、平台抖动等因素的影响，基于特征的配准方法更适合遥感图像配准。

如果匹配的图像中存在着大量重复的特征，例如建筑物表面存在完全相同的窗户或者图案等，传统的图像匹配方法不能够有效区分各个特征，最终导致了不能有效将两幅图像进行匹配。

近年来，提出了一些结合监控视频和遥感卫星的识别检测方法，例如：

公开号为CN108132979 A的发明专利公开了一种基于遥感图像的港口地物监测方法及系统，该发明包括，原始地物数据库建立，利用三维扫描仪在同一空间高度将港口所有需要监测的地物进行扫描，得到三维遥感图像集合，并记录存储对应真实照片；建立地物坐标系，在相对空旷区域且靠近港口边缘选择三维坐标系的原点，在港口边缘模拟X轴，建立三维坐标系；地物分类，结合地物的实际大小和形状进行分类；地物边界点的提取，利用三维扫描仪对港口进行360°全景扫描，得到地物边界的离散点集合；地物实时监控，将扫描得到的离散点集合传输到数据处理单元进行立体遥感图形模拟，并从原始地物数据库中提取近似度最高的三维遥感图像，进而匹配到对应的真实图像。但是该方法中如果匹配的图像中存在着大量重复的特征，不能够有效区分各个特征。

发明内容

为了解决上述技术问题，本发明的目的在于提供一种视频监控和遥感图像的天地多视图对齐方法，通过构建实例分割模型来对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中所有物体的图像块信息集合μ，利用语义分割将物体从背景中分离，减小了图像背景的干扰，提高了图像匹配的效率。进而利用匈牙利算法得到最佳匹配，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的对应匹配，提高图像匹配的准确率，并将监控摄像头和遥感图像的图像块之间建立对应关系，实现了监控画面和遥感图像精确的映射关系，能够实现在复杂成像条件下图像的快速、精确配准。

为实现上述发明目的，本发明采取的技术方案如下：

一种视频监控和遥感图像的天地多视图对齐方法，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系，将监控摄像头左上、左下、右上、右下四个画面坐标转换为经纬度坐标，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；

步骤S2：分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；