[发明专利]用于在虚拟现实或增强现实环境中渲染复杂数据的系统和方法

说明书

提供了一种用于3D对象的虚拟现实和增强现实渲染的方法。方法可包括分割3D对象使得3D对象的部分能够是可识别的和可区分的。方法可包括创建掩模、识别掩模之间的关系并相应地标记掩模。

技术领域

本发明总体涉及将成像数据渲染成在虚拟现实或增强现实中可以查看的格式。更具体地，本发明涉及在虚拟现实或增强现实中渲染三维(3D)对象。

背景技术

目前存在虚拟现实或增强现实系统并且其通常包括在一个或多个二维(2D)屏幕上显示计算机生成的3D对象的模拟。基于3D对象创建2D图像可能需要大量的计算资源。已知的系统和方法通常遭受差的性能。例如，因为确定2D帧中的像素的值可能需要(3D对象的)许多样本和计算，所以一些已知的系统和方法可能无法提供足够的分辨率。另外，当需要诸如缩放或旋转的操作时，已知的系统和方法经历延迟。

另外，使具有一个或多个有重叠的拓扑(例如，彼此相切)的部分的3D对象可视化可能是复杂的任务，尤其是在虚拟现实(“VR”)和/或增强现实(“AR”)中。例如，3D对象通常使用网格来显示。基于具有重叠部分(例如，相互拓扑)的3D对象创建的网格通常导致重叠部分彼此难以区分。例如，当相切和分离的3D对象具有相互拓扑的网格时，当前系统通常会创建相交的网格。然而，相切和分离的3D对象的网格通常不应相交，因为例如，它通常不允许准确表示3D对象是分离的事实。

由于例如AR/VR技术中的立体视觉，因此相交的网格能够被用户检测。已知的系统和方法可能无法从对于AR/VR技术中的可视化可以是准确的不同的3D对象充分地创建网格(或一组网格)。

发明内容

本发明的一个优势是其可以以允许观看者区分对象的方式提供复杂解剖(例如，具有重叠对象的解剖)的AR/VR可视化。本发明的另一个优势是由于例如3D对象的准确表示，本发明可以向3D对象的用户提供较清晰的理解。

因此，在本发明的一方面，一种用于从成像数据创建对象的三维(3D)虚拟现实或增强现实渲染的方法和一种包含用于使计算机执行该方法的程序指令的非暂时性计算机可读介质。

根据本发明的实施方式，确定了基于成像数据的对象类型，创建了基于对象类型的一组掩模。每个掩模可以表示对象的唯一部分，并且可以被分配来自成像数据的与相应的掩模的唯一部分对应的多个体素和唯一视觉标记。

可以确定该组掩模的外掩模，并且可以根据外掩模创建3D网格。针对外掩模的3D网格的内壁中的每个顶点，确定除了外掩模之外的每个掩模中的每个体素至相应的当前体素的测地距离，并且可以修改当前顶点的相应视觉标记以具有与至顶点的测地距离最短的体素相同的视觉标记。可以基于外掩模和所有掩模的相应的唯一视觉标记创建对象的3D虚拟现实或增强现实渲染。

在一些实施方式中，对于多个体素中的没有分配至掩模的每个体素，可以从该组掩模确定具有在至当前体素的最近距离内的体素的一个掩模，并且可以将与该一个掩模的唯一视觉标记相同的视觉标记分配至当前体素。唯一视觉标记可以是颜色标记、图案、或其任何组合。

在一些实施方式中，通过应用具有预定阈值的箱式滤波器可以修改外掩模。

在某些实施方式中，外掩模的确定可基于用户输入、对象类型、或其任何组合。

附图说明

以下参考段落后面列出的附至本文的图描述本公开的实施方式的非限制性示例。出现在多个图中的相同特征通常在它们出现的所有图中用相同的标号标注。标注表示图中的本公开的实施方式的给定特征的图标的标号可以用于参考给定特征。图中所示的特征的尺寸出于方便和清楚呈现而选择，并且不一定按比例示出。