[发明专利]大视差场景下基于自身单应性变换的实时视频拼接方法

说明书

本发明提供了大视差场景下基于自身单应性变换的实时视频拼接方法，本发明非常适用于大视差场景下的视频拼接，因为视差会造成两路视频中前景和背景位移明显，该方法将前景和背景先分别拼接好，再前景和背景拼接结果融合，可以有效避免重影和错位，提升视频拼接效果；且如果待拼接视频当前帧只含背景时，背景通常是静止不动的，则可以提取出一个拼接模板。对于后续只含背景的帧，直接采用该模板拼接，压缩计算量加快拼接速度。

技术领域

本发明属于计算机视觉、图像处理、多媒体信息技术等领域，尤其涉及大视差场景下基于自身单应性变换的实时视频拼接方法。

背景技术

视频拼接指将多路具有重叠区域的小视野视频拼接成一路完整大视野视频，有效解决了单个摄像头视野的局限，在虚拟现实、智能监控等领域有着广泛的应用。在城市中，大量的摄像头被安装用于消除隐患，保卫人民群众生命财产安全；同样，在当前热点的智慧城市建设中，摄像头是发挥着首要作用的“眼睛”。但诸如道路、行政大厅、商场等场合需要同时安装多个摄像头进行监控，导致相关人员需要同时关注多路监控视频，而且多路监控视频不利于视频后续的处理和分析。在这样的背景下，需要将多路视频拼接成一路完整视频。

在视频拼接的现实使用场景中，可能存在大视差的情况。即同一目标在两个摄像机内所处的位置不一样，且位移较明显，通常这个目标是距离摄像机很近的前景目标。现实生活中也有常识，物体离观察者越近，两只眼睛看到的物体位置差异越大，这种情况在两个摄像头中同样存在。如果采用主流的视频拼接方法对这类大视差场景做视频拼接，要么只能对齐前景或后景中的一个平面而忽略其他平面，造成重影错位等现象；要么从全局角度把很多相差很大的平面依然对齐结合，造成视觉上不自然。

因此，针对大视差场景下采用特定的实时拼接方法是非常有必要的。

发明内容

发明目的：解决在大视差场景下进行视频拼接的问题，提供一种基于自身单应性变换的实时视频拼接方法，能有效消除大视差场景下因为两路待拼接视频中前背景位移明显而造成视频拼接中的重影错位现象。

技术方案：本发明公开了一种大视差场景下基于自身单应性变换的实时视频拼接方法，其核心在于：判断若待拼接两路视频当前帧存在前景，则将两路视频当前帧的前景和背景分割；对两个前景区域和背景区域都采用图像对齐、提取重叠区域、多频带融合重叠区域的步骤融合好；再将融合好的前景图像填补到背景图像的空洞上；判断若两路视频当前帧不存在前景，则只需要融合背景，背景融合都可采用一个相同的模板，加快拼接速度。具体包括以下步骤：

步骤1，读取两路待拼接视频，判断它们当前帧中是否存在前景：从两路待拼接视频中分别读取当前帧M1和M2，通过差分背景法分别判断M1和M2中每个像素点属于前景还是背景，进而判断出当前帧中是否存在前景；

步骤2，若判断出两路当前帧M1和M2都存在前景，融合帧中的前景区域fore(M1)和fore(M2)：采用APAP逼近投影算法，对两个前景区域对齐；对齐后提取出fore(M1)和fore(M2)的重叠区域；对重叠区域做多频带融合，并得到帧中前景区域fore(M1)和fore(M2)的融合结果；

步骤3，若判断出两路当前帧M1和M2都存在前景，融合帧中的背景区域back(M1)和back(M2)：采用APAP逼近投影算法，对两个背景区域对齐；对对齐后对因前背景分割在背景区域中造成的空洞进行修补；提取出back(M1)和back(M2)的重叠区域；对重叠区域做多频带融合，并得到帧中背景区域back(M1)和back(M2)的融合结果；

步骤4，完整的前景区域和背景区域融合：在前景目标上选取一个基准点base，在背景空洞上选取另一个基准点base'；基于这两个基准点将完整的前景区域和背景区域融合，让前景覆盖背景中因分割前背景造成的空洞；