[发明专利]一种视频监控和遥感图像的天地多视图对齐方法

权利要求书

1.一种视频监控和遥感图像的天地多视图对齐方法，其特征在于，包括以下步骤：

步骤S1：对齐监控摄像头画面坐标和经纬度坐标，建立监控摄像头画面坐标和经纬度坐标的低精度映射关系，将监控摄像头左上、左下、右上、右下四个画面坐标转换为经纬度坐标，由转换得到的经纬度坐标在遥感图像上得到对应的目标区域；

步骤S2：分别对监控摄像头画面和遥感图像目标区域进行实例分割，得到监控摄像头画面中所有物体的图像块信息集合Φ和遥感图像目标区域中的所有物体的图像块信息集合μ，并抽取每个图像块的特征；

步骤S3：根据步骤S2中的图像块的特征、类别、映射的位置关系，利用匈牙利算法，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的粗匹配，得到图像块对的对应集合；

步骤S4：利用步骤S3中的图像块对的对应集合选取数据，根据多组图像块对的对应关系，建立监控摄像头画面和遥感图像精确的映射关系；

所述步骤S3中监控摄像头画面中图像块与遥感图像目标区域中图像块之间的匹配过程包括如下步骤：

步骤S3.1：构造二分图G＝(X,Y,E)，其中X表示监控摄像头画面中的图像块集合，Y表示遥感画面中的图像块集合，E表示X中所有节点与Y中所有节点之间的边集；边集E按照如下规则构造：如果Sim(x,y)0，x∈X，y∈Y，则在二分图G中对应的两个顶点x与y之间连一条边(x,y)，并设置该边的权重w_xy＝Sim(x,y)，其中Sim(x,y)表示特征x与特征y的相似性(x∈X,y∈Y)；

步骤S3.2：通过每个图像块的类别标签，将监控摄像头画面中和遥感图像中相同类别的图像块进行连线，得到一对一和一对多的情况；

步骤S3.3：利用步骤S1中的监控摄像头画面坐标和经纬度坐标的低精度映射关系，以图像块的中心点作为图像块的坐标，将监控摄像头画面中的图像块坐标转换为经纬度坐标，得到转换后的经纬度坐标集合A＝{＜λ_i,ψ_i＞}，其中＜λ_i,ψ_i＞表示监控摄像头画面中第i个图像块转换后的经纬度坐标，λ_i是经度，ψ_i是纬度；由遥感影像图可得图像块经纬度坐标集合其中表示遥感图像目标区域中第j个图像块的经纬度坐标，是经度，ε_j是纬度，设定一个阈值(lon,lat)，满足以下条件的则保留两者之间的连线，否则删除连线：

|ψ_i-ε_j|＜lat

步骤S3.4：由步骤S3.3得到的图像块之间的匹配集合及对应的特征集合，利用匈牙利算法得到最佳匹配，实现监控摄像头画面中图像块与遥感图像目标区域中图像块之间的对应匹配。