[发明专利]一种基于图像语义分割的视频拼接方法

说明书

本发明公开了一种基于图像语义分割的视频拼接方法，包括获取某一视频传感器采集的视频单帧图像；依据视频位置信息结合单帧图像中地物形状特征精确获取目标区域的遥感影像，作为拼接参考背景；采用全卷积神经网络对视频单帧图像和拼接参考背景影像进行语义分割；将分割结果与基于特征向量欧式距离的匹配方法结合，作为特征点的匹配约束条件，进行匹配特征点集的选取；根据选取的匹配特征点集，实现视频每一帧图像和拼接参考背景影像的匹配；对匹配得到的所有结果进行时间序列的融合，得到最终视频拼接结果。优点是：实现更为准确的特征点匹配，以及视频的高质量拼接，适用于重叠区域大的多视频拼接，而且能够很好的实现重叠区域小的多视频拼接。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图像语义分割的视频拼接方法。

背景技术

视频拼接是图像拼接的外延，是指将数个有重叠部分的视频序列(多时相、多视角、多传感器获取)无缝拼接成宽景乃至全景视频的技术，拼接后的全景视频可广泛应用在公安、交通等城市状态连续跟踪监控中。依据相机设置和应用场景的不同，视频拼接可分为静态场景下固定多摄像头视频拼接、运动场景下固定摄像头视频拼接以及动静场景混合状态下的非刚性固连摄像头视频拼接三种类型，其中以静态场景下固定多摄像头视频拼接最为常用。

静态场景下视频拼接主要是通过多个视频重叠区域的同名特征点来实现拼接，如专利《全景视频拼接方法及装置》ZL 201610599700.6就是通过逐一提取两个视频单帧图像的重叠区域的特征点来实现全景视频的拼接，因此实现特征点的准确匹配是实现视频拼接的核心和关键。如专利《全景视频拼接方法及装置》(专利号：ZL 201610599700.6)是通过在重叠区域选取预设数量对种子点，将两个视频单帧图像的坐标由屏幕坐标转换为柱面坐标；基于转换后的柱面坐标,根据选取的种子点提取两个视频单帧图像的特征点进行匹配；专利《基于图像拼接的视频拼接装置及视频拼接方法》(申请号：201710245434.1)是首先对第一路视频的第i帧图像的特征点和第二路视频的第i帧图像的特征点进行粗匹配，得到初始特征点匹配对集合，对该集合进行细匹配后再进行图像进行融合，以获得拼接后的图像。此外，还有采用特征匹配算法来实现视频拼接的研究，如论文《基于分块Harris特征的航拍视频拼接方法》中，将分块Harris特征与SIFT方法相结合，引入图像角点对特征点选取进行约束等。上述专利给出的拼接方法均能很好的实现多视频影像的拼接，但多数情况下，重叠区域越大，能够找到的特征点越好、越多，拼接效果就越佳，当重叠区域较小时，由于缺少足够量的典型特征点，往往会导致拼接后变形较大或出现错误拼接。

发明内容

本发明的目的在于提供一种基于图像语义分割的视频拼接方法，从而解决现有技术中存在的前述问题。

为了实现上述目的，本发明采用的技术方案如下：

一种基于图像语义分割的视频拼接方法，包括，

S1、获取某一视频传感器采集的视频单帧图像；

S2、依据视频位置信息并结合单帧图像中地物形状特征精确获取目标区域的遥感影像，作为拼接参考背景；

S3、采用全卷积神经网络对视频单帧图像和拼接参考背景影像进行语义分割；

S4、采用步骤S3中语义分割的结果与基于特征向量欧式距离的匹配方法相结合，共同作为特征点的匹配约束条件，进行匹配特征点集的选取；

S5、根据选取的匹配特征点集，实现视频每一帧图像和拼接参考背景影像的匹配；

S6、重复步骤S1-S5，实现其他视频传感器的每一帧图像和拼接参考背景影像的匹配；

S7、对匹配得到的所有结果进行时间序列的融合，得到最终视频拼接结果。

优选的，步骤S2包括如下内容，