[发明专利]计算机实现方法、计算机可读介质和用于混合现实的系统

说明书

本申请涉及计算机实现方法、计算机可读介质和用于混合现实的系统。混合现实(MR)仿真系统包括控制台和头戴式设备(HMD)。MR系统使用安装到HMD的向外立体相机从现实世界环境捕获立体图像。MR系统对立体图像进行预处理以使对比度最大化，然后从这些图像中提取包括边缘或拐角等的特征的组。对于每个特征，MR系统生成一个或多个二维(2D)多段线。然后，MR系统在右侧图像中找到的2D多段线与左侧图像中找到的对应2D多段线之间进行三角测量，以生成一组3D多段线。MR系统在3D多段线中包含的3D顶点之间内插或者外插额外的3D顶点，从而生成现实世界环境的几何重建。MR系统可以比更新几何重建更快地将来源于现实世界环境的纹理映射到几何表示上。

技术领域

各个实施方式的领域

各个实施方式总体上涉及虚拟现实和增强现实，并且更具体地，涉及在混合现实应用中的基本视觉提示的重建。

背景技术

人工现实系统仿真虚拟环境或将虚拟元素添加到真实环境，以便向用户提供虚拟现实(VR)、增强现实(AR)和/或混合现实(MR)内容。人工现实系统包括控制台和头戴设备(headset)。控制台生成并渲染图形元素，而头戴设备将这些图形元素输出给用户。头戴设备包括立体显示器，立体显示器向用户的每只眼睛输出略微不同的图像，从而使用户感知3D空间环境。头戴设备还可以包括向外相机，向外相机被配置为捕获立体图像以便生成混合现实仿真。

术语“混合现实”通常是指结合现实世界元素和/或现实世界元素的仿真版本向用户显示仿真图形元素的任何类型的仿真。例如，控制台可以经由头戴设备上的向外相机捕获表示用户周围的环境的立体图像。然后，控制台将生成与视频游戏或其他类型的计算机仿真相关联的三维(3D)图形元素。然后，控制台将生成的3D图形元素合并到立体图像中，并经由头戴设备将结果输出给用户。

安装在头戴设备上的向外相机通常以不同于大多数用户的瞳间距离的相机视差彼此分开。因此，被捕获并随后显示给用户的立体图像可能在空间上显得失真，这可能导致不良的用户体验。此外，这种空间失真可能会降低用户对现实世界环境的空间感知，这在某些情况下可能是危险的。

对于生成混合现实仿真，人工现实系统通常缺乏解决这种空间失真同时还保持高质量的用户体验的处理能力。因此，这些系统以非常低的帧速率输出混合现实仿真，因此具有明显的延迟。这种延迟会分散注意力并导致不良的用户体验。大的延迟也可能是危险的，因为在仿真可以更新以表示对象之前，用户可能在不知不觉中遇到现实世界对象(并且可能与其碰撞)。此外，在不解决上述空间失真的情况下，由常规人工现实系统生成的混合现实仿真可能导致用户体验晕动症和迷失方向，从而导致不良的用户体验。

发明内容

各种实施方式包括一种计算机实现方法，该计算机实现方法包括：识别与现实世界场景中的一个或多个对象相关联的特征的组；基于该组特征生成二维(2D)几何形状；基于2D几何形状生成三维(3D)几何形状，3D几何形状包括仅部分地表示该一个或多个对象的现实世界场景的几何重建；以及基于3D几何形状渲染用于显示的现实世界场景的第一图形表示。

所公开的技术的至少一个优点是MR系统可以在很少或没有延迟的情况下产生有沉浸感且空间逼真的混合现实体验。因为MR系统仅基于现实世界环境的基本几何特征生成几何重建，所以与必须生成和更新高度复杂的几何重建的常规系统相比，MR系统可以更快地更新重建。此外，由于MR系统将来源于现实世界环境的纹理实时地映射到几何重建上，因此MR系统可以输出具有可忽略的延迟的混合现实仿真。因此，与常规方法相比，本文中公开的技术代表了显著的技术进步。

附图说明

为了可以详细地理解各种实施方式的上述特征，可以关于各种实施方式给出上文简要总结的本发明概念的更具体的描述，其中一些实施方式在附图中示出。然而，应注意，附图仅示出了本发明概念的典型实施方式，因此不应被视为以任何方式限制范围，并且存在其他同等有效的实施方式。