[发明专利]用于在渲染图像中使用的可重新照明纹理

说明书

本公开的实施例涉及用于在渲染图像中使用的可重新照明纹理。可重新照明的自由视点渲染允许基于来自多个照相机视点的场景的多视图的场景的新视图被渲染和重新照明。可将来自多个照相机视点的图像值分离成漫射图像分量和镜面反射图像分量，使得通过使用分离的漫反射图像分量可以确定镜面反射场景的可重新照明纹理的本征颜色分量。而且，通过基于初始表面法线场的保守分量构建高度映射，然后基于所构建的高度映射确定细化的表面法线，可以对场景中几何的表面法线进行细化。

本申请是申请号为201510484716.8、申请日为2015年8月7日、发明名称为“用于在渲染图像中使用的可重新照明纹理”的发明专利申请的分案申请。

技术领域

本公开涉及用于在渲染图像中使用的可重新照明纹理。

背景技术

可以从照相机的视点捕捉场景的图像。在一些情况下，可以有捕捉场景的不同图像的一个以上的照相机。场景的每一个图像表示来自相应的照相机的视点的场景的视图。但是，将存在场景的一些视点会不对应照相机视点的任何一个。图像可以是一帧视频序列。诸如自由视点视频渲染(FVVR)的技术允许基于来自多个照相机视点的场景的一组多个视图生成表示场景的新视图的图像。优选校准照相机且彼此同步以促进推断场景的中间图像。

基于场景的不同图像，例如使用多视图立体(MVS)可构建场景几何的模型，并且可形成可以应用于该模型的纹理(texture)。该纹理可以通过投射地使具有原始图像的场景几何纹理化并混合所投射的图像而形成。然后具有该纹理的模型可用于从可以与照相机视点之一相同或不同的渲染视点来渲染场景。除从渲染视点重新构建“真实世界”场景外，真实世界场景的内容可以与电脑生成的或真实世界的其它场景内容一起被渲染。

术语“几何”用于本领域中，且在本文中指场景中计算机生成的对象表面的表示，从而该几何允许对场景中对象的形状、大小和位置建模。该几何可被纹理化，从而将纹理(例如限定颜色和其它表面细节)应用于几何以便表示场景中对象的外观。从真实场景的多个图像重建的几何在本文中可被称为“代理(proxy)”或“几何代理(geometric proxy)”。几何通常是三角形网格，尽管其它的表示(诸如点云)是可能的。

当生成新的场景视点时，特别是当将内容集成到与所捕捉的那些不同的周围环境中时，可能需要考虑若干事宜。例如，对场景重新照明可能是困难的。从由照相机捕捉的图像提取的纹理(例如视频序列帧)具有隐含的真实世界照明信息，使得照明伪影(artefacts)存在(即“烤入(baked-in)”)于纹理中。

解决如何对新视点的纹理重新照明的问题的一种方法是当照相机捕捉场景的不同视图时控制场景的照明。例如，漫射(diffuse)照明可用于最初的视频捕捉，以避免产生过量的阴影区域和镜面反射(specularities)，它们会损害使用所提取的纹理渲染的场景的似真性(plausibility)。照明中变化的影响可通过估计纹理的材料属性(例如本征颜色(反照率(albedo))和精细细节(表面法线))来重现，以用于随后使用常规的计算机图形技术来重新照明(relighting)。这可以使用主动照明(或“光级(light-stage)”)布置来解决，其中在各种校准的照明条件下捕捉场景的图像，同时使纹理的材料属性(诸如本征颜色，或“反照率”，和表面的精细细节)被适配到图像。然而，该方法需要昂贵的设备，并且通常限于静态场景。用任意的照明布置对场景重新照明是相当地更加挑战的。

发明内容

提供本发明内容从而以简化形式介绍在下文的具体实施方式中进一步描述的构思的选择。本发明内容不意图识别所要求保护的主题的关键特征或必要特征，也不意图用于限制所要求保护的主题的范围。