[发明专利]用于沉浸式视觉体验的相机视图之间的虚拟视图内插

权利要求书

1.一种用于生成场景的虚拟视图的设备，所述设备包括：

存储器，所述存储器用于存储第一输入图像和第二输入图像；以及

耦合到所述存储器的处理器，所述处理器用于：

使用所述第一输入图像和所述第二输入图像及其之间的对应图，来为分别与所述第一输入图像和所述第二输入图像相对应的第一视图位置和第二视图位置之间的所选视图位置生成第一虚拟图像；

基于在所述第一输入图像和所述第二输入图像中检测到的水平梯度和垂直梯度以及所述对应图，来针对所述所选视图位置确定水平梯度图和垂直梯度图；

确定分别表示对所述水平梯度和所述垂直梯度的检测的水平卷积矩阵和垂直卷积矩阵；

将卷积模板应用于虚拟中间梯度图像，来为所述所选视图位置生成最终虚拟图像，所述虚拟中间梯度图像包括至少所述第一虚拟图像、所述水平梯度图和所述垂直梯度图的组合，所述卷积模板近似至少所述水平卷积矩阵和所述垂直卷积矩阵的线性组合的逆；并且

提供所述最终虚拟图像以呈现给观看者。

2.根据权利要求1所述的设备，其中，所述水平卷积矩阵和所述垂直卷积矩阵的线性组合包括以下二者之和：所述水平卷积矩阵的转置和所述水平卷积矩阵的乘积、所述垂直卷积矩阵的转置和所述垂直卷积矩阵的乘积。

3.根据权利要求2所述的设备，其中，所述线性组合进一步包括加权因子和单位矩阵的乘积，其中，所述加权因子相对于所述最终虚拟图像的水平梯度和垂直梯度与所述水平梯度图和所述垂直梯度图的相似性而对所述最终虚拟图像与所述第一虚拟图像的相似性进行加权。

4.根据权利要求1至3中任一项所述的设备，其中，所述虚拟中间梯度图像包括以下二者之和：所述水平梯度图与所述水平卷积矩阵的转置的卷积、所述垂直梯度图与所述垂直卷积矩阵的转置的卷积。

5.根据权利要求4所述的设备，其中，所述虚拟中间梯度图像进一步包括加权因子和所述第一虚拟图像的乘积，其中，所述加权因子相对于所述最终虚拟图像的水平梯度和垂直梯度与所述水平梯度图和所述垂直梯度图的相似性而对所述最终虚拟图像与所述第一虚拟图像的相似性进行加权。

6.根据权利要求1所述的设备，其中，所述水平卷积矩阵和所述垂直卷积矩阵的线性组合包括以下二者之和：所述水平卷积矩阵的转置和所述水平卷积矩阵的乘积、所述垂直卷积矩阵的转置和所述垂直卷积矩阵的乘积，并且其中，所述虚拟中间梯度图像包括以下各项之和：所述水平梯度图与所述水平卷积矩阵的转置的卷积、所述垂直梯度图与所述垂直卷积矩阵的转置的卷积、以及加权因子和所述第一虚拟图像的乘积。

7.根据权利要求1至3中任一项所述的设备，其中，所述卷积模板包括滤波器模板，所述滤波器模板具有的尺寸不少于15x15个滤波器权重。

8.根据权利要求1至3中任一项所述的设备，其中，所述卷积模板包括至少第一可分离滤波器和第二可分离滤波器，并且所述处理器应用所述卷积模板包括所述处理器进行以下操作：

将所述第一可分离滤波器应用于所述虚拟梯度图像，以生成所得到的第一经滤波梯度图像；

将所述第二可分离滤波器应用于所述虚拟梯度图像，以生成所得到的第二经滤波梯度图像；并且

对所述第一经滤波梯度图像和所述第二经滤波梯度图像求和，以生成所述最终虚拟图像。