[发明专利]用于生成图像的装置和方法

说明书

一种用于生成图像的装置，包括：接收器(101)，其接收提供场景的不完整表示的3D图像数据。视图向量源(103)提供指示针对图像的绘制视点的绘制视图向量。绘制器(105)基于来自3D图像数据的图像数据来针对绘制视图向量绘制中间图像的第一区域。外推器(107)将3D图像数据外推到中间图像的第二相邻区域中，在其中3D图像数据不包括针对第二区域的图像数据。模糊处理器(109)响应于将空间变化的模糊应用于中间图像而生成图像，其中，模糊程度在第一区域与第二区域之间的过渡区域中高于第一区域的内部区。

技术领域

本发明涉及一种用于根据提供场景的不完整表示的3D图像数据生成图像的装置和方法，并且具体地但不排他地涉及生成用于虚拟现实应用的图像。

背景技术

传统上，对图像的技术处理和使用一直基于二维成像，但是在图像处理中越来越多地明确考虑三维。

例如，已经开发了三维(3D)显示器，其通过为查看者的两只眼睛提供正在观看的场景的不同视图而增加了查看体验的三维感。这能够通过让用户佩戴眼镜来分开所显示的两幅视图来实现。然而，由于这可能对于用户而言非常不便，因此，在许多场景中，优选使用自动立体显示器，所述自动立体显示器使用显示器处的单元(诸如双凸透镜或屏障)来分离视图，并且以其可以个体地到达用户眼睛的不同方向对其进行发送。对于立体显示器，需要两幅视图，而自动立体显示器通常需要更多幅视图(例如，九幅视图)。

在许多实施例中，可能希望生成针对新的查看方向的视图图像。尽管已知用于基于图像和深度信息来生成这样的新视图图像的各种算法，但是其往往高度依赖于所提供(或导出的)深度信息的准确性。

实际上，三维图像信息常常由与场景的不同查看方向相对应的多幅图像来提供。具体地，越来越多地生成视频内容(诸如电影或电视节目)以包括一些3D信息。能够使用专用3D相机来捕获这样的信息，所述3D相机从稍微偏移的相机位置捕获两幅同时的图像。

然而，在许多应用中，所提供的图像可能不直接对应于期望的方向，或者可能需要更多的图像。例如，对于自动立体显示器，需要多于两幅图像，并且实际上常常使用9–26幅视图图像。

为了生成与不同查看方向相对应的图像，可以采用视点移位处理。这通常由视图移位算法来执行，视图移位算法使用针对单个查看方向的图像以及相关联的深度信息。

基于三维图像处理的应用的特定示例是虚拟现实应用。在典型的虚拟现实体验中，例如，可以针对例如虚拟现实头盔连续地生成右眼视图图像和左眼视图图像，以匹配用户的移动和取向变化。动态虚拟现实视图的这样的生成通常基于对表示与虚拟现实环境相对应的给定场景的3D图像数据的处理。例如，虚拟现实服务器可以基于三维模型或三维图像来生成针对特定视图的视图图像，诸如由光强度图像和深度图或纹理图和深度网格表示的图像。

对于诸如虚拟现实应用之类的应用，图像序列可以例如被生成以反映用户的视图，因为由于用户在虚拟环境中虚拟地移动或改变查看方向/取向，这些视图会改变。在一些应用中，可以生成图像以反映查看者取向的变化，但是不支持该区中的移动。反映这样的场景的视频常常被称为全向视频。在其他应用中，还可以支持移动的查看位置，以反映用户在虚拟现实环境中的虚拟移动。反映这样的场景的视频常常被称为沉浸式视频。用户的当前视图可以由视图向量表示，该视图向量描述了针对视点的相关位置和方向参数。

对于全向视频，通常通过提供偏航、俯仰和滚动值，视图向量通常描述根据三个自由度(3DoF)的取向。

对于沉浸式视频，通常通过提供偏航、俯仰、滚动以及针对三个空间维度的值，向量通常描述根据六个自由度(6DoF)的取向和位置。