[发明专利]连续深度排序图像合成

说明书

系统使用场景的二维(2D)图像创建场景的输出图像。对于输出图像中的像素，在输出图像中识别与像素相对应的2D片段。系统将2D片段转换为三维(3D)片段，基于3D片段创建用于像素的体跨段，基于用于多个体跨段中的一体跨段的3D片段中的相应一个或多个3D片段颜色贡献来确定所述一体跨段的颜色，以及根据体跨段的所确定的颜色来确定输出图像的像素的颜色。

技术领域

本公开的方案和实施方式涉及图像合成，更具体涉及连续深度排序图像合成。

背景技术

三维(3D)渲染是在计算机上通过3D照片写实(photorealistic)效果或非照片写实渲染将3D线框模型自动转换为二维(2D)图像的计算机图形处理。线框模型是3D计算机图形中使用的3D或物理对象的视觉呈现。可将场景描述语言用于描述通过3D渲染器渲染为2D图像的场景。在从3D场景描述中渲染场景的2D图像的过程中，2D图像的每个像素可以从场景中的多个对象接收贡献(例如图像片段)。为了为每个像素产生单个颜色值，一般在通常称为“合成”的过程中将这些图像片段组合在一起。为了正确地考察遮挡(例如隐藏对象)，前景片段一般应当完全遮挡背景片段。如果前景片段是半透明的，则应当使用基于物理的混合技术(诸如“over”运算)在背景片段之上合成前景片段。根据对片段进行合成的顺序，可以获得像素颜色的不同结果。3D场景描述能够不准确，并且因为场景是活动的，所以表面位置中的小错误可能导致片段顺序突然改变。这样的突然改变可能导致合成像素的最终颜色的大的不连续变化，表现为在3D图像中的空间混叠或者在视频中的闪烁。

发明内容

下面给出本公开各个方面的简单概述，以提供对这些方案的基本理解。此概述并非所有设想到的方面的广泛综述，并且既不意图标识关键或重要元素，也不意图描述这些方案的范围。其目的是以简化的形式给出本公开的一些概念，作为稍后给出的更详细描述的前序。

在本公开的方案中，一种方法包括使用场景的二维(2D)图像创建场景的输出图像。对于输出图像中的像素，在输出图像中识别与像素相对应的2D片段，将2D片段转换为三维(3D)片段，基于3D片段创建用于像素的体跨段(volume span)，基于用于体跨段的3D片段中的相应一个或多个3D片段的颜色贡献来确定体跨段的颜色，以及根据体跨段的所确定的颜色来确定输出图像的像素的颜色。在一个实施方式中，2D图像是由多个相机来捕捉的。在一个实施方式中，将2D片段转换为3D片段包括：向各个2D片段添加预定义厚度。该方法可通过处理设备执行。

在一个实施方式中，预定义厚度是在视差空间中限定的。预定义厚度也可以在深度空间中限定。在一个实施方式中，确定体跨段的颜色包括：识别3D片段中的向体跨段贡献颜色的一个或多个3D片段，以及确定所识别的3D片段的颜色贡献。在一些实施方式中，识别多个3D片段中的向体跨段贡献颜色的一个或多个3D片段可包括：识别多个3D片段中的具有与体跨段重叠的部分的一个或多个3D片段。在一个实施方式中，确定颜色贡献包括：确定体跨段的长度，确定所识别的一个或多个3D片段中的各个3D片段的总厚度，以及将体跨段的长度除以总厚度。在一个实施方式中，确定多个3D片段中的所识别的一个或多个3D片段的颜色贡献包括：确定所识别的3D片段的颜色的总和，以及将所确定的颜色的总和乘以所识别的3D片段的贡献。在一个实施方式中，基于3D片段创建用于像素的体跨段包括：标记3D片段的开始事件和结束事件，依次排序开始事件和结束事件，以及基于3D片段的开始事件和结束事件的依次排序来限定像素的体跨段的开始事件和结束事件。

本文还描述了一种装备，包括使用场景的2D图像来创建场景的输出图像的装置。对于输出图像中的像素，用于在输出图像中识别与像素相对应的2D片段的装置，用于将2D片段转换为3D片段的装置，用于基于3D片段针对像素创建体跨段的装置，用于基于3D片段中的相应的一个或多个3D片段对于体跨段的颜色贡献来确定多个体跨段中的的一体跨段的颜色的装置，以及用于根据体跨段的所确定的颜色来确定输出图像的像素的颜色的装置。在一个实施方式中，2D图像是由多个相机来捕捉的。在一个实施方式中，用于将2D片段转换为3D片段的装置包括用于向各个2D片段添加预定义厚度的装置。