[发明专利]一种全景视频的拼接融合方法、设备以及系统

说明书

本发明提供一种全景视频的拼接融合方法、设备、计算机可读存储介质以及系统，涉及视频处理技术领域。所述系统包括：全景摄像设备以及全景视频的拼接融合设备，其中，全景视频的拼接融合设备，用于获取全景摄像设备传送的图像数据，对图像数据进行预处理，得到相邻的图像数据之间的光流，根据图像数据以及相邻的图像数据之间的光流进行取样以及渐变融合，得到渐变融合之后的图像数据以及映射网格，根据映射网格对渐变融合之后的图像数据进行拉伸平滑，消除渐变融合产生的形变，得到全景视频。通过本发明的技术方案，制作得到了全景序列帧，实现了在兼顾计算效率、画面清晰度的同时，又能够具有较大的拍摄深度适用范围。

技术领域

本发明属于视频处理技术领域，尤其涉及一种全景视频的拼接融合方法、全景视频的拼接融合设备、计算机设备、计算机可读存储介质以及全景视频的拼接融合系统。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着视觉图像技术和视频采集技术的发展，视频获取已经从获取普通视角的视频，发展到广角视频，进一步发展到水平方向360度、垂直方向180度的全景视频。为了获取全景图像，需要使用两个或两个以上的镜头组成的全景相机拍摄多个方向的图像，再将两个或两个以上镜头拍摄的多个方向的图像拼接为全景图像。现有技术中，制作全景视频主要是基于如下两种技术：

1、基于标定模板技术制作全景视频

图1为现有技术中基于标定模板制作全景视频的示意图，请参阅图1，在基于标定模板技术中，首先需要搜索相邻序列帧重合区内的特征点对，利用特征点对估算出相机的内参与相对位置关系，然后将图像重投影到统一的成像空间上，对重合区进行融合处理后，得到全景序列帧。

在基于标定模板的方式中，由于在估算相机参数时利用了标定图像重合区内的特征点对关系，而这些特征点对关系与标定时的深度有关，在不同的深度上进行标定模板最后估算出的相机参数不同。因此，利用标定模板拼接融合全景图时，如果拍摄对象的深度与标定模本的深度不一致，拼接处就会出现接缝或重影。而且，标定深度与拍摄深度差异越大，拼接处的接缝或重影就越明显。因此，单纯基于拼接模板的全景视频制作通常只适用于比较小的深度范围。

2、基于光流插值视角技术制作全景视频

图2为现有技术中基于光流插值视角技术制作全景视频的示意图，请参阅图2，在基于光流插值视角的全景视频制作方式中，需要将相邻相机校正平行，这样相邻相机成像之间的光流就与拍摄对象的深度相关。在计算得到拍摄内容的深度后，结合图像的颜色信息，就可以重建出全景序列帧。

以右眼成像为例，如图3所示，实际相机分别为I_K、I_L，经过相应相机，切线方向E、G表示理想的成像光线。但是，位于E、G之间的视角没有相机，则通过视角插值的方式，结合光流计算沿F与虚拟相机之间的成像光线，依次可以得到所有成像光线上的像素信息。

以相邻相机图像上的p_i、p_j点为例，基于光流插值视角投影的计算方式，在最终全景图上的位置p′与光流相关。即p′＝F(p_i,f_ij)＝＝F′(p_i,f_ij)，其中f_ij、f_ji分别表示相机i、j之间的前向、后向光流。单个相机上的点p_i映射到全景图上p′上，即：

p→p′

这种正向映射方式，在全景图上容易出现点的缺失，为了防止这种现象，通常会将p_i周边的几个点映射过去。最终将全景图p′位置上的多个点融合为一个点，逐点操作，形成最终的全景序列帧。