[发明专利]用于基于扭曲的三维模型生成增强现实内容的系统和方法

说明书

本发明公开了用于基于扭曲的三维模型生成增强现实内容的系统和方法。提供了用于生成AR内容以虚拟地更改现实世界物品的系统和方法。现实世界物品可以是包括一个或多个柔性表面的可变形物品。根据实施例，一种方法包括确定现实世界物品上的多个点的相对方位。基于多个点的相对方位，虚拟物品的3D模型被扭曲以产生虚拟物品的扭曲的3D模型。扭曲的3D模型可能具有与现实世界物品基本相同的形状。然后基于扭曲的三维模型生成AR内容。

技术领域

本申请涉及增强现实（AR），并且在特定实施例中，涉及AR内容的生成。

背景技术

AR涉及使用计算机生成的或虚拟的内容来提升现实世界的体验。在一些情况下，AR涉及将虚拟内容叠加在现实世界的物理内容上。这种叠加可以或是建设性的或是破坏性的。建设性AR为现实世界的体验添加内容，而破坏性AR掩蔽现实世界体验中的内容。在某些情况下，给定的AR体验由建设性和破坏性AR的组合组成。AR不同于虚拟现实（VR）。VR涉及完全虚拟体验的创建，而AR和最近的变体混合现实（MR）至少保留了一部分现实世界体验，但使用虚拟内容更改了对现实世界体验的感知。

发明内容

本公开的一些方面涉及使用三维（3D）模型来生成更改现实世界物品的外观的AR内容。3D模型可以为现实世界物品提供特定的颜色、图案和/或图形，其当在AR体验中被覆盖到现实世界物品上时，更改现实世界物品的外观。在某些情况下，现实世界物品可以包括一个或多个柔性表面，并且因此现实世界物品的形状可能会随着时间而改变。例如，现实世界物品可能是用户正在穿的衣服。随着使用者移动，衣服可能因此而流动、起皱和/或褶皱。在物品改变形状的同时更改现实世界物品的物理外观是AR系统面临的挑战。

在一些实施例中，为了使用AR更改现实世界物品的外观，系统确定现实世界物品的形状，扭曲物品的3D模型以匹配现实世界物品的形状，并基于扭曲的3D模型生成AR内容。AR内容可以包括覆盖在现实世界物品的图像上的扭曲的3D模型的渲染，这可以从查看AR内容的用户的角度更改现实世界物品的外观。以这种方式，AR内容就可以符合现实世界物品的实时形状。

根据本公开的一方面，存在一种计算机实现的方法，包括确定现实世界物品上的多个点的相对方位，并基于多个点的相对方位扭曲虚拟物品的3D模型以产生虚拟物品的扭曲的3D模型。该方法还可以包括生成AR内容用于呈现。该AR内容可能基于扭曲的3D模型。在一些情况下，现实世界物品可以包括柔性表面和/或可以是或包括衣服。此外，3D模型可以包括现实世界物品的视觉外观。

在一些实施例中，生成AR内容包括渲染扭曲的3D模型。可选地，从与现实世界物品的捕获图像对应的视点渲染扭曲的3D模型。生成AR内容还可以包括将渲染与图像合成以覆盖现实世界物品。

在一些实施例中，该方法还包括确定用户相对于现实世界物品的方位。可以基于用户的这个方位来渲染扭曲的3D模型。例如，然后可以通过透明显示器使渲染覆盖现实世界物品的用户的视点。

在一些实施例中，基于多个点的相对方位来扭曲虚拟物品的3D模型包括修改3D模型以将3D模型中的点重新定位为处于与多个点的相对方位对应的相对方位中。

在一些实施例中，现实世界物品包括多个标记，多个标记中的每一个位于现实世界物品上的多个点中的相应不同的一个点处。确定现实世界物品上的多个点的相对方位然后可以包括确定多个标记的相对方位。在一些实施例中，多个标记包括光学标记并且该方法还包括获得现实世界物品的至少一个图像。确定多个标记的相对方位然后可以包括对所述至少一个图像执行图像分析以检测光学标记。

在一些实施例中，确定现实世界物品上的多个点的相对方位包括获得现实世界物品的测量结果；将测量结果输入到机器学习（ML）模型中；并获得ML模型的输出，其中现实世界物品上的多个点的相对方位基于ML模型的输出。