[发明专利]用于沉浸式视觉体验的相机视图之间的虚拟视图内插

说明书

本申请涉及用于沉浸式视觉体验的相机视图之间的虚拟视图内插。讨论了与从已知输入图像的位置之间的一位置生成场景的虚拟视图以供呈现给观看者有关的技术。此类技术包括将卷积模板应用于虚拟中间梯度图像以为所述位置生成最终虚拟图像，所述卷积模板近似至少表示所述输入图像中的梯度检测的水平卷积矩阵和垂直卷积矩阵的线性组合的逆，所述虚拟中间梯度图像是至少所述位置处的内插虚拟图像、所述位置处的内插水平梯度图和所述位置处的内插垂直梯度图的组合。

技术领域

本申请总地涉及图像处理的领域，更具体地涉及用于沉浸式视觉体验的相机视图之间的虚拟视图内插。

背景技术

诸如两个或更多个线状或栅格排列的相机之类的相机的阵列在诸如平板设备、智能电话设备、膝上型设备、显示设备、网真系统(telepresence system)和电影摄制和视频制作系统之类的多种设备实现中正变得越来越常见。在由这种相机阵列生成的观看体验的情境中，相机位置之间的中间虚拟视图被生成并被提供给用户以便显示。

持续目标是在所捕获的相机视图之间的位置处高效地并以最小视觉伪像来渲染逼真的虚拟图像。用于从多个相机图像渲染虚拟视图的当前技术包括根据图像对场景进行体积3D重建以及使用3D图形渲染技术来渲染虚拟视图。然而，3D重建是计算上昂贵的且容易出错，从而在所渲染的图像中产生视觉伪像。基于图像的渲染(IBR)技术避免3D几何的显式重建并且替代地根据所捕获的图像直接地渲染虚拟视图。例如，IBR内插可以使用两个图像及其像素对应图(correspondence map)来使图像翘曲到期望位置。此类技术假定可用于计算机生成的图像的标准真值对应图、视差图(disparity map)或光流(optical flow)、以及虚拟视图与原始图像的较小偏移。然而，在有噪声的视差图和较大的相机偏移导致不希望的图像伪像的现实生活场景中常常不满足此类假设。因此，现有技术尤其在现实生活应用中具有关于计算困难和图像伪像的缺点。

改进合成中间图像的视图以得到增强的用户体验可能是有利的。正是考虑到这些和其他考虑事项，所以需要本改进。随着在相机阵列实现和其他情境中显示这种图像或视频的愿望变得更加普遍，这种改进可能变得关键。

发明内容

根据本申请的一方面，提供了一种用于生成场景的虚拟视图的设备，所述设备包括：存储器，所述存储器用于存储第一输入图像和第二输入图像；以及耦合到所述存储器的处理器，所述处理器用于：使用所述第一输入图像和所述第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；并且提供所述最终虚拟图像以呈现给观看者。

根据本申请的另一方面，提供了一种用于生成场景的虚拟视图的方法，所述方法包括：使用第一输入图像和第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；以及提供所述最终虚拟图像以呈现给观看者。