[发明专利]用于使用深度图信息的多视图像生成的装置和方法

权利要求书

1.一种用于使用深度图信息生成多视图像的计算机实现的方法，包括：

使用来自映射到投影像素位置的物理像素位置的值，将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和所述投影深度图与所述输入图像的具体视图相关联；并且还包括：

在所述视图的方向上变换所述输入图像和所述输入深度图；以及

执行从变换后的输入图像和变换后的输入深度图到所述投影图像和所述投影深度图上的前向投影；

修复所述投影图像和所述投影深度图；以及

使用经修复的投影图像和经修复的投影深度图来产生所述具体视图的方向上的输出图像。

2.根据权利要求1所述的方法，其中，转换所述输入图像和所述输入深度图还包括：

对于所述输入图像中的每个像素：

确定所述输入图像中的物理位置，以及

将所述物理位置映射到所述投影图像中的投影位置；并且还包括：

对所述投影图像中的投影像素位置进行排序。

3.根据权利要求2所述的方法，还包括：

对于所述投影图像中的至少一个像素，使用所述投影图像中的至少两个投影位置来计算值，其中：

所述值包含亮度或深度中的至少一个，

计算所述值还包括对与所述输入图像中的、映射到所述至少两个投影位置的至少两个像素相关联的至少两个值进行插值，并且

所述至少两个值包括与在具有至少一个像素的大小的水平显示区域内具有最小深度的投影位置相关联的值、与具有较小深度的投影位置相关联的值、或与最靠近的投影位置相关联的值中的至少一个。

4.根据权利要求1所述的方法，其中，修复所述投影图像和所述投影深度图还包括：

对于所述投影深度图中的每个被遮蔽区域，从所述输入深度图内的至少一个源区域复制至少一个值，其中所述至少一个源区域映射到所述每个被遮蔽区域的至少一部分；以及

对于所述投影图像中的每个被遮蔽区域，处理来自所述输入图像内的至少一个源区域的至少一个值，其中所述至少一个源区域映射到每个被遮蔽区域的至少一部分。

5.根据权利要求1所述的方法，其中，产生所述输出图像还包括混合至少两个经修复的图像。

6.根据权利要求1所述的方法，其中，转换所述输入图像和所述输入深度图还包括识别所述投影图像和所述投影深度图内的至少一个被遮蔽区域。

7.一种包括一个或多个处理器可执行指令的计算机可读存储介质，所述计算机可执行指令当被至少一个处理器运行时，令所述至少一个处理器执行包含根据权利要求1-6所述的方法中的任一个方法。

8.一种用于使用深度图信息的图像的多视图生成的装置，包括：

用于捕捉输入图像的镜头模块；

包含输入深度图的深度图存储装置；以及

图像处理器，用于使用来自映射到投影像素位置的物理像素位置的值，将输入图像和输入深度图转换成投影图像和投影深度图，其中所述投影图像和所述投影深度图与所述输入图像的视图相关联，修复所述投影图像和所述投影深度图，并使用经修复的投影图像和经修复的投影深度图来产生形成所述视图的输出图像。

9.根据权利要求8所述的装置，其中，所述图像处理器还包括：

转换器，用于基于所述视图来变换所述输入图像和所述输入深度图，并执行从变换后的输入图像和变换后的输入深度图到所述投影图像和所述投影深度图上的前向投影；

深度图修复模块，用于针对所述投影深度图中的每个目标区域，从所述输入深度图内的至少一个源区域复制值，其中所述至少一个源区域对应于针对所述每个目标区域的变换后的输入深度图内的投影像素位置；

图像修复模块，用于针对所述投影图像的副本中的每个目标区域，从变换后的输入图像内的至少一个源区域复制值，其中每个源区域映射到位于所述每个目标区域右边的像素，所述图像修复模块还用于使用经修复的变换后的输入深度图和纹理信息来修复投影图像的另一副本内的被遮蔽区域；以及

输出模块，所述输出模块用于混合所述投影图像的经修复副本和所述投影图像的另一经修复副本。

10.根据权利要求9所述的装置，其中，所述转换器

对于所述输入图像中的每个像素，确定物理位置，并将所述物理位置映射到所述投影图像中的投影位置；

对于所述投影图像中的每个像素，使用所述输入图像中的至少两个像素的至少两个投影位置来计算深度值和亮度值，并且

修复与所述至少两个像素相关联的至少两个值，其中所述至少两个像素包括与在具有至少一个像素的大小的水平显示区域内具有最小深度的投影位置相关联的像素、与所述至少两个像素中具有最小深度值的投影位置相关联的像素、或与最靠近的投影位置相关联的像素中的至少一个。