[发明专利]用于在人工现实中显示物理环境的实时可视化的系统、方法和介质

说明书

具体实施例涉及穿透特征。计算系统可以在由用户穿戴的设备上显示虚拟现实场景。该系统可以接收来自用户用于显示用户周围物理环境的至少部分的可视化表示的请求。该系统可以访问由设备的(多个)相机捕获的、与物理环境相关联的数据。该系统可以基于数据来生成物理环境中的一个或多个对象的深度测量。该系统可以基于深度测量来生成物理环境中的一个或多个对象的一个或多个模型。该系统可以基于用户的视点和一个或多个模型来绘制图像，基于图像生成由用户请求的可视化表示。继而向用户显示具有虚拟现实场景的可视化表示。

技术领域

本发明通常涉及计算机图形和3D重建技术。

背景技术

人工现实是在呈现给用户之前已经以某种方式调整的现实形式，其可以包括例如虚拟现实(VR)、增强现实(AR)、混合现实(MR)、并合现实，或其某种组合和/或衍生。人工现实内容可包括完全生成的内容或与捕获内容(例如，真实世界照片)组合的生成内容。人工现实内容可以包括视频、音频、触觉反馈或它们的某种组合，其中其任何都可以在单个通道或多个通道中呈现(诸如，向观看方生成三维效果的立体视频)。人工现实可以与例如用于在人工现实中创建内容和/或在人工现实中使用(例如，在人工现实中执行活动)的应用、产品、附件、服务或其某种组合相关联。

提供人工现实内容的人工现实系统可以在各种平台上实现，包括连接到主机系统的头戴式设备(HMD)、独立HMD、移动设备或计算系统、或能够向一个或多个观看方提供人工现实内容的任何其他硬件平台。当用户穿戴HMD时，他的物理环境的视觉被HMD的物理结构遮挡。例如，HMD的显示器可以直接定位在用户眼睛的前面并且非常接近用户眼睛。因此，每当用户需要看到他的身体环境时，他将需要移除HMD。即使HMD的移除是暂时的，这样做不方便并且干扰用户体验。

发明内容

本文描述的实现使沉浸在人工现实中的用户能够按需显示物理世界的可视化表示(“穿透(passthrough)”)。例如，当用户希望看到物理世界时，他可以发出命令(例如，经由按钮、手势、语音等)来调用穿透特征。作为响应，人工现实系统可以生成物理世界的实时表示并且将其叠加在人工现实上。在特定实现中，穿透表示可以是物理世界的边缘的轮廓。轮廓可以通过获取由HMD的面向外部的相机捕获的图像的梯度来生成，并且高梯度特征可以被重新对准以匹配用户眼睛的视点。

本文公开的实现仅是示例，并且本公开的范围不限于它们。特定实现可以包括本文公开的实现的全部、一些或不包括任何组件、元素、特征、功能、操作或步骤。根据涉及方法、存储介质、系统和计算机程序产品的所附权利要求中具体公开了根据本发明的实现，其中在一个权利要求类别(例如，方法)中提及的任何特征也可以在另一权利要求类别(例如，系统)中要求。所附权利要求中的从属或引用仅出于形式原因而选择。然而，也可以要求保护由对任何在前权利要求(特别是多个从属权利要求)的有意引用而生成的任何主题，使权利要求及其特征的任何组合被公开并且可以要求保护，而无关于在所附权利要求中选择的从属权利要求。可以要求保护的主题不仅包括所附权利要求中阐述的特征的组合，而且包括权利要求中的特征的任何其他组合，其中权利要求所提及的每个特征可以与权利要求中的任何其他特征或其他特征组合来组合。此外，本文描述或描绘的任何实现和特征可以在单独权利要求中和/或与本文描述或描绘的任何实现或特征或与所附权利要求的任何特征的任何组合中要求保护。

附图说明

本专利或申请文件包含至少一张彩色附图。在请求和支付必要费用后，将由专利局提供(多个)彩色附图的本专利或专利申请公开的副本。

图1示出了根据特定实现的由用户穿戴的示例人工现实系统。

图2示出了根据特定实现的穿透特征的示例。

图2示出了根据特定实现的利用设备的视频编码器的优化深度估计技术。

图3A和图3B示出了根据特定实现的由用户看到的穿透特征的示例。

图4示出了根据特定实现的用于对用户周围的物理环境进行建模的示例性过程。