[发明专利]一种监控视频目标映射到三维地理场景模型的方法及系统

权利要求书

1.一种监控视频目标映射到三维地理场景模型的方法，其特征在于，包括以下步骤：

S1：获取接入监控探头的视频序列图像信息，并在视频图像和三维地理场景模型采集同名点对，获取同名点的图像坐标和地理坐标；

S2：基于同名点对坐标数据，建立视频图像与地理空间的映射关系；

S3：采用基于深度学习Mask RCNN的方法实现视频目标的检测与分割，从视频图像中获得视频目标图像范围并提取子图；

S4：基于视频图像与地理空间的相互映射关系，实现视频目标的地理空间定位；

S5：基于相机位置、视线方向、视频目标位置，实现视频目标子图在虚拟地理场景模型中的可视化表达；

S6：重复步骤S3、S4、S5，对实时视频流的每一帧图像循环处理，得到每一帧视频图像中的视频目标位置与子图，与三维场景模型进行融合表达；

步骤S1所述的视频图像为截取监控视频的第一帧图像；

步骤S1所述的三维地理场景模型指根据真实地理场景量测信息构建的三维场景模型，所述视频图像和虚拟地理场景上采集同名点对的数量不少于3对，且不能全部共线；

步骤S2所述的建立视频图像与地理空间的映射关系，包括以下步骤：

S20：记选取图像平面的某一点q坐标为q(x,y)，q在三维地理空间所对应的点Q坐标为Q(X，Y，Z)，将q和Q写为齐次坐标形式：

q＝[x y 1]^T

Q＝[X Y Z 1]^T；

S21：将映射关系表达模型通过单应矩阵M、q与Q的关系的数学形式进行表达：

q＝MQ；

S22：把经过了放缩、平移、旋转三种变化的视频图像平面到三维地理空间对应的单映矩阵M进行分解，经简化矩阵M后的数学表达式为：

其中s是放缩系数，f_μ、f_ν分别是透镜的物理焦距长度与成像传感器每个单元横、纵轴方向尺寸的乘积，u、ν是相机中图像成像中心相对于主光轴的偏移量，[r₁ r₂ t]中的r₁、r₂表示坐标系之间的旋转关系，t表示坐标系之间的平移关系；

S23：将已经获得的其它两对同名点图像坐标与地理空间坐标写成齐次坐标形式，把三对齐次坐标组带入所述映射关系表达模型中，求得所述单映矩阵M的解。

2.根据权利要求1所述的一种监控视频目标映射到三维地理场景模型的方法，其特征在于，步骤S3所述视频目标包括视频图像中出现的行人、非机动车以及机动车三类对象，所述视频目标子图定义为，视频图像中每个实体对象的最小外接矩形边框区域。

3.根据权利要求1所述的一种监控视频目标映射到三维地理场景模型的方法，其特征在于，步骤S3所述的从视频图像中获得视频目标图像范围并提取子图，包括以下步骤：

S30：根据监控视频图像序列，逐帧截取视频并保存成图像格式；

S31：将视频图像送入Mask RCNN模型中，得到具有物体标识、位置信息以及矩形框选的分割目标子图后的图片；

S32：保存分割后的目标子图，并记录其外接矩形信息(x,y,w,h,num)，其中x、y分别是矩形左上角的横、纵坐标，w、h分别是矩形的宽和高，num代表截取的子图在原视频中的帧序号。