[发明专利]一种基于道路交通场景下的全景视频拼接方法及系统

说明书

本发明公开一种基于道路交通场景下的全景视频拼接方法及系统，包含图像采集、图像畸变矫正及预处理、图像特征点提取、图像匹配、匹配特征点对过滤、获取投影变换的单应性矩阵和图像融合。本发明通过深度学习网络实现特征点的提取和特征点匹配，图像特征点提取的时候，分别对动态前景和静态背景进行特征点提取，通过提取不同摄像头之间重叠区域背景和前景的特征点，并对特征点进行匹配，动态获取不同摄像头之间的相对位置关系，实现了对片区道路交通系统中摄像头间图像的实时融合拼接；解决了传统的单摄像头监控体系，需要相关人员人工调出相应多个摄像头图像，进行比对拼合，才能获取到有用信息等问题，同时完美解决了目标跨摄像头追踪问题。

技术领域

本发明涉及交通管理和视频监控技术领域，具体涉及一种基于道路交通场景下的全景视频拼接方法及系统。

背景技术

随着经济的逐步繁荣，科学技术的不断发展，对城市道路交通的全面实时监测变得越发重要，通过科学技术手段建立全面的道路交通图像管理平台成为各地交通管理部门的目标。目前，道路交通监测系统已经基本实现覆盖城市和乡镇主干道，辅道和路口的数字网络系统，并配备了相应的图像监视设备和操作软件，可实时将道路交通的运行状况传送至相应的调度中心，对道路交通运行状况进行监控。一旦出现问题，第一时间做出反馈。但是因为目前现有的监控设备，主要是现有的安防摄像头，存在摄像头之间没有直观的位置关系，一旦查找跨摄像头的情况，需要相关人员人工调出相应多个摄像头的图像，一一进行比对拼合，才能获取到有用信息，费事费力。

CN113055613A公开“一种基于矿山场景下的全景视频拼接的方法及装置”，其采用传统SURF算法提取特征点，并生成特征描述子，SURF算法在实际应用中不能实现视频帧的实时处理，基本可以排除工程应用；并且，特征匹配算法采用K最近邻分类算法,匹配误差较大。又如，CN103516995A公开“一种基于ORB特征的实时全景视频拼接方法和装置”采用的方法是：开启采集多路同步视频数据；采用ORB特征提取算法对同一时刻的各路图像进行特征点提取并计算各特征点的ORB特征向量；采用最邻近匹配法和RANSAC(随机抽样一致性)匹配算法求出同步视频对应帧间的单应性矩阵；根据单应性矩阵进行视频帧场景的拼接；最后输出拼接后的视频。但是，所述对比文件都是通过传统的图像特征点提取和匹配方法，比如sift或者surf，其存在特征点提取精度不高，提取时间太长，不能实现实时拼接。

发明内容

针对现有技术存在的上述不足，本发明的目的在于提供一种基于道路交通场景下的全景视频拼接方法及系统，解决现有技术提取精度不高、查找费时费力和不能实现实时拼接的问题。

为实现上述目的，本发明采用如下技术方案：

一种基于道路交通场景下的全景视频拼接方法，包含以下步骤：

S1、图像采集：由多个摄像头同步采集测试路段中每路摄像头的图像，要求每个摄像头的时间戳严格一致；

S2、图像畸变矫正及预处理：采用何凯明暗通道去雾算法对采集的多个图像进行矫正及预处理；

S3、图像特征点提取：采用深度学习网络superpoint对图像进行特征点的提取；提取摄像头之间重叠区域的特征点，包含角点和梯度变化明显的点，并生成特征描述子；

S4、图像匹配：采用基于图卷积神经网络的特征匹配算法superglue对图像进行特征匹配, 其中输入是两张图像中superpoint网络提取的特征点以及描述子，输出是图像特征之间的匹配关系；

S5、匹配特征点对过滤：利用K近邻算法对匹配上的特征点对进行过滤；

S6、获取投影变换的单应性矩阵，完成投影变换：过滤后剩余的匹配点对利用Ransac算法循环遍历，直到计算得到图像间投影所需的最佳单应性矩阵，完成图像间的拼接；

S7、图像融合：采用动态规划寻找最佳拼接线进行图像融合。

进一步，所述S3中重叠区域分为静态的背景和动态的前景，分别提取背景和前景特征点。