[发明专利]一种基于缝合线的实时视频拼接方法

说明书

本发明公开了一种基于缝合线的实时视频拼接方法，包括：分别读取两路监控视频第一帧作为模板帧；提取模板帧上特征点并进行特征点匹配，初步筛选匹配点集；利用RANSAC(随机抽样一致性)算法筛选出可靠的匹配点集，由此计算变换矩阵；利用变换矩阵对两帧图像进行配准，通过角点变换前后的坐标计算出重叠区域、非重叠区域和最终完整图像大小；根据重叠区域颜色强度和几何结构计算缝合线，缝合重叠区域，拼接非重叠区域，计算拼接后完整图像；对视频后续帧利用已经求得的变换矩阵和缝合线进行拼接，此过程利用CUDA平台并行加速实现。

技术领域

本发明涉及计算机图形学、多媒体信息技术、视频处理等领域，尤其涉及一种基于缝合线的实时视频拼接方法。

背景技术

随着社会的发展，人们享受到了现代社会的便利，但是同时也带来了一系列安全隐患。为了消除隐患，保障人们的生命财产，遍布城市的监控摄像头成了一大利器。但是道路、行政大厅等场合同时需要多个摄像头进行监控，导致安检人员需要同时关注多路监控视频，此外多路监控视频不利于视频后续的处理和分析。为了能够有效解决上述问题，需要将多路监控视频拼接成一路完整视频。

对视频的拼接处理可以转换为对视频的每一帧进行图像拼接处理。图像拼接技术是将数张有重叠部分的图像拼成一幅大型的无缝高分辨率图像的技术，可以有效解决单张图像分辨率低，拍摄范围小的问题。目前来说图像拼接技术已广泛应用在视频监控、空间探测、虚拟现实、医学成像以及气象、军事、遥感等诸多领域。尤其是近年来随着VR技术的发展和人们对视频监控要求的提高，图像拼接技术得到快速发展。

现有的图像拼接方法对于输入的图像要求较高，需要图像的重叠区域处于同一平面，甚至需要整幅图像处于同一平面；此外，重叠区域不能有明显深度变化。一旦条件不满足，就会因为视差而导致重叠区域出现重影，模糊不清。在监控视频中出现模糊不清的情况，会对监控造成恶劣影响，不利于安全隐患的消除；此外，现有方法的拼接速度差强人意，做不到实时视频监控，使安检人员无法及时消除安全隐患。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种实时视频拼接方法，从而能够有效消除重叠区域的重影，增强视频拼接效果，加快拼接速度。

技术方案：本发明公开了一种基于缝合线的实时视频拼接方法，其核心在于计算出视频重叠区域的变换矩阵，配准视频；计算出重叠区域的缝合线，融合待拼视频，包括以下步骤：

步骤1，读取模板帧：打开两路监控视频，获取视频的格式、尺寸等信息，分别读取两路监控视频第一帧作为模板帧，

步骤2，特征点提取、匹配和匹配点集初步筛选：提取模板帧的SURF(SpeededUpRobust Features)特征，通过对特征点描述子的相似程度比较，实现特征点匹配，并根据劳氏算法(Lowe′s algorithm)初步筛选匹配点集；

步骤3，筛选匹配点集，计算变换矩阵：利用随机抽样一致性(RANSAC)算法反复迭代筛选最优一致性集，获取精确匹配点集，然后由最优匹配点集计算出变换矩阵H；

步骤4，图像配准，角点变换，计算重叠区域、非重叠区域和最终完整图像大小：使用变换矩阵H进行图像变换，即将一帧图像变换到另一帧图像的坐标下：dst(x,y)＝H*src(x,y)；图像配准后，角点坐标变换到同一坐标下，可以通过两帧图像角点坐标差值，计算出重叠区域和非重叠区域，以及最终完整图像大小；

步骤5，计算缝合线，缝合重叠区域，拼接非重叠区域：通过两帧图像重叠区域的颜色强度、几何结构和缝合线求解准则：E(x,y)＝E_color(x,y)²+E_geometry(x,y)，动态规划得到最优缝合线，缝合重叠区域；将非重叠区域拷贝到缝合后的重叠区域两端，截取有效图像，得到拼接结果；