[发明专利]呈现含真实对象及其虚拟副本的场景的图像的方法和设备

说明书

技术领域

本公开涉及图像处理的领域，例如在诸如例如头戴式显示器(HMD)、平板或智能电话之类的移动设备上消费的增强现实视频内容的背景中。

背景技术

增强现实(AR)是允许例如实时地在增强现实场景中将虚拟对象与真实世界对象混合的技术，该增强现实场景可以在显示设备(诸如头戴式显示器(HMD)、平板、智能电话或电视显示屏)上显示的一个或多个图像中表示。该技术也被称为混合现实。

例如当虚拟对象在AR场景中移动并碰到一个或多个真实对象时，可能发生AR场景的真实与虚拟对象之间的交互。例如，在真实场景由放在桌子上的卡片盒组成并且利用在桌子上滚动的虚拟球体来增强的情况下，预期的是，当球体将碰撞盒子时，不仅可以修改球体轨迹，而且盒子可以移动(根据对象的重量和速率，从一些轻微的振动到强烈的发射)。等人在“Geometric modifications applied to real elements in augmented reality”(2011 XIII虚拟现实研讨会)中讨论了能够实时地在真实对象中执行修改的AR系统，旨在提供真实和虚拟对象之间交互的逼真手段。

图1A示出了表示在等人的AR系统中使用的真实场景的图像10的示例，该场景包括其中有真实对象100的真实对象。真实对象100对应于立方体，例如，卡片盒。标记101被应用于真实对象100的面上，标记101用于得到相对于真实对象的真实世界中的照相机位置，以用于正确插入虚拟对象。图1B示出了图像11，其中利用真实对象100的虚拟副本110替换真实对象100，变形被应用于虚拟副本110。例如通过使用真实对象100的3D模型来获得虚拟副本110。通过使用从真实对象100的图像10获得的动态纹理对虚拟副本110进行纹理化。在原始场景10中，真实对象100的顶表面被真实对象100本身遮挡，而在图像11的AR场景中，以不正确的纹理显示上表面112。从图像10取回包括标记101的真实对象100的可见面的纹理，并将其重新用作虚拟副本110的前面111和上面112的纹理信息，导致与图像11的真实感有关的问题。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例可以不一定包括该特定的特征、结构或特性。此外，这样的短语不一定指代相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，认为结合其他实施例(无论是否明确描述)影响这样的特征、结构或特性是在本领域技术人员的知识范围内的。

本公开涉及一种呈现包括至少一个真实对象的场景的方法，该方法包括：

-接收表示场景的至少一个图像；

-将变换应用于与至少一个真实对象的虚拟副本相对应的虚拟对象；

-在该至少一个图像中，通过使用与该至少一个图像中的真实对象相关联的纹理信息来呈现所变换的虚拟对象的至少一个第一部分，纹理信息是根据表示该至少一个图像中的与对应于所变换的虚拟对象的所述至少一个第一部分的真实对象的至少一个第二部分相关联的可见性的信息所选择的。

根据特定特性，该呈现包括：

-当该至少一个第二部分在该至少一个图像中可见时，选择与真实对象的该至少一个第二部分相关联的纹理信息；

-当该至少一个第二部分在该至少一个图像中不可见时，选择与真实对象的至少一个第三部分相关联的纹理信息。

根据特定特性，利用网格对虚拟对象进行建模，该至少一个第三部分是通过使用与该至少一个第三部分相关联的一部分网格的至少一个顶点和与该至少一个第二部分相关联的一部分网格的至少一个顶点之间的关系所获得的。

根据另一特性，基于与网格的顶点相关联的法线建立该关系。

根据特定特性，利用与网格的网格元素相关联的颜色信息建立该关系。

根据特定特性，纹理信息是从利用表示场景的多个图像的纹理数据更新的纹理映射所获得的，时间戳与纹理数据相关联，时间戳取决于用于更新纹理映射的多个图像中的图像。

根据特定特性，纹理映射的更新取决于以下信息中的至少一个：

-与关联于纹理数据的该至少一个第一部分相关联的法线；

-与纹理数据相关联的时间戳信息；

-采集设备相对于该至少一个真实对象的位置。

本公开还涉及一种被配置为呈现包括至少一个真实对象的场景的设备，该设备包括存储器和被配置为执行呈现包括至少一个真实对象的场景的上述方法的操作的至少一个处理器。