[发明专利]视频匹配方法、装置及系统

说明书

技术领域

本发明涉及视频领域，特别是涉及一种视频匹配方法、装置及系统。

背景技术

立体(3D)视频基于人的双目视差原理，通过双摄像机获取同一场景但略有差异的两幅图像，分别显示给人的左眼和右眼，形成双目视差，从而使人获得场景深度信息并体验到立体感。立体视频技术可以提供符合立体视觉原理的深度信息，从而能够真实地重现客观世界景象，表现出场景的纵深感、层次感和真实性，是当前视频技术发展的重要方向。立体视频技术早在七八十年代就开始有研究，但由于技术不成熟，显示设备昂贵和缺乏标准等原因一直没有大规模应用。但随着相关技术的完善、设备成本的大幅降低及相关编解码标准的出台，立体视频技术已越来越接近实用。立体匹配技术，即对左图像和右图像的匹配，是立体视频的关键技术之一。通过立体匹配建立场景中的目标在不同图像中成像点之间的对应关系，并结合摄像机的内外参数和相对位置关系，可以得到场景中目标的深度图。基于场景深度图和原有图像，立体视频可以合成虚拟视点视图，使用户在观看立体视频时，从不同视点可以观看到不同的视频内容，并且这些视频内容与从真实场景中对应的观看视点观看到的内容一致，从而使用户获得更好的真实感和临场感。

目前，用于普通立体图像匹配的立体匹配技术虽然通过部分算法已经可以获得较准确的场景深度图，但该部分算法较为复杂，难以满足立体视频匹配的实时匹配需求，基于普通立体图像匹配技术重构的虚拟视点图像视频闪烁问题也较为严重。为了解决上述视频闪烁问题，用于匹配立体视频的现有技术利用背景信息作为参考信息，仅对前景计算深度，用以降低视频重构中 的视频闪烁，但是，在实现本发明的过程中，发明人发现该现有技术至少存在以下问题：

该现有技术仅对背景不变的场景有效，当背景发生变化时，利用原有的背景深度信息重构的虚拟视点图像将发生错误；并且，该现有技术需要提取完整的前景目标轮廓，处理比较复杂，从而增加了现有技术实现立体视频匹配的难度。

发明内容

本发明实施例提供一种视频匹配方法、装置及系统，可用于背景变化或不变化的场景，易于实现视频的快速匹配。

本发明第一方面通过一些实施例提供了一种视频匹配方法，包括：

选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。

本发明第一方面实施例的视频匹配方法中，利用视频的图像序列之间的相关性，选择已对完整图像进行匹配和深度图计算的帧作为参考帧，通过检测当前帧图像相对于参考帧图像的变化区域，仅对当前帧该变化区域重新进行相应的图像匹配和深度图计算，由于当前帧图像相对于参考帧图像的变化 区域小于完整的当前帧图像，因此明显缩短了当前帧图像的匹配时间，从而提高视频的匹配速度，实现视频的快速匹配；此外，由于不需要设置原始背景信息作为参考信息，不需要提取完整的前景目标轮廓，因此，本发明实施例不仅适用于背景不变的场景，还适用于背景变化的场景，具有易于实现视频快速匹配的优点。

本发明第二方面通过一些实施例提供了一种视频匹配装置，包括：

生成模块，用于选取视频图像序列中已计算出完整图像深度图的一个帧作为参考帧；所述帧包括复合帧；

检测模块，用于获取当前帧第一图像相对于参考帧第一图像的变化区域，以及当前帧第二图像相对于参考帧第二图像的变化区域；所述当前帧的第一图像和第二图像为当前帧的左图像和右图像，所述参考帧的第一图像和第二图像为参考帧的左图像和右图像；或者，所述当前帧的第一图像和第二图像为当前帧的右图像和左图像，所述参考帧的第一图像和第二图像为参考帧的右图像和左图像；

匹配与深度图计算模块，用于在当前帧第一图像变化区域或当前帧第二图像变化区域小于门限变化区域时，匹配并计算当前帧第一图像变化区域与当前帧第二图像变化区域的深度图。