[发明专利]一种基于图像语义分割的视频拼接方法

权利要求书

1.一种基于图像语义分割的视频拼接方法，其特征在于：包括，

S1、获取某一视频传感器采集的视频单帧图像；

S2、依据视频位置信息并结合视频单帧图像中地物形状特征精确获取目标区域的遥感影像，作为拼接参考背景影像；

S3、采用全卷积神经网络对视频单帧图像和拼接参考背景影像进行语义分割；

S4、采用步骤S3中语义分割的结果与基于特征向量欧式距离的匹配方法相结合，共同作为特征点的匹配约束条件，进行匹配特征点集的选取；

S5、根据选取的匹配特征点集，实现该视频传感器的每一视频单帧图像和拼接参考背景影像的匹配；

S6、重复步骤S1-S5，实现其他视频传感器的每一视频单帧图像和拼接参考背景影像的匹配；

S7、对匹配得到的所有结果进行时间序列的融合，得到最终视频拼接结果；

步骤S2包括如下内容，

S21、通过视频传感器的属性信息，计算得到该视频传感器的位置信息，并给予该位置信息对所需遥感影像进行粗定位；

S22、将粗定位的遥感影像和视频单帧图像，采用公式(1)将每个像素值从RGB空间转化到YIQ空间的亮度图像，得到每个像素值的亮度分量；

Y＝0.299R+0.587G+0.114B (1)

其中，Y为亮度分量，R为红色编码值，G为绿色编码值，B为蓝色编码值；

S23、基于亮度分量采用Canny算子提取粗定位遥感影像和视频单帧图像的边缘特征，利用Sobel算子，采用公式(2)计算各个边缘像素点(x,y)在像素坐标系中水平及竖直方向上的灰度梯度(dx,dy)；

其中，f(x,y)为边缘像素点(x,y)的灰度值；

S24、通过灰度梯度，采用公式(3)计算粗定位遥感影像和视频单帧图像的边缘角度θ(x,y)，之后采用公式(4)对边缘角度进行二阶差分运算，

θ(x,y)＝arctan(dx/dy) (3)

Δ²θ_i＝θ_i-1-2θ_i+θ_i+1 (4)

其中，θ_i为第i个边缘像素点对应的边缘角度，θ_i-1和θ_i+1是边缘方向上与该点邻近的两个边缘像素点的边缘角度；

S25、统计粗定位遥感影像和视频单帧图像中边缘角度二阶差分直方图，并将其归一化为频率直方图，采用公式(5)，即利用直方图相交距定义两幅图像p、q之间的相似性；

其中，V_q是待匹配的正射影像直方图特征，V_p是交通视频图像的直方图特征，d_pq代表二者之间的相似性程度；

S26、针对粗定位遥感影像，依据视频单帧图像覆盖单位及地物自然特征，选取固定大小的单元格及步长，逐一与视频单帧图像进行相似度计算，将相似度最高的遥感影像作为拼接参考背景影像。

2.根据权利要求1所述的基于图像语义分割的视频拼接方法，其特征在于：步骤S3包括如下内容，

S31、对视频中的专题特征进行人工解译获取标签类型；

S32、根据获取的标签类型，选取含有相关标签类型的若干视频单帧图像和拼接参考背景影像作为训练样本集；

S33、采用全卷积神经网络对训练样本集进行语义分割训练，得到训练好的语义分割模型；

S34、利用语义分割模型，对视频单帧图像和拼接参考背景影像进行语义分割，得到语义分割结果。