[发明专利]从单个图像确定可穿越空间

说明书

模型从输入图像预测可见和被遮挡的可穿越表面两者的几何形状。该模型可以根据立体视频序列训练，使用相机姿势、每帧深度和语义分割来形成训练数据，该训练数据用于监督图像到图像网络。在各种实施例中，该模型被应用于描述场景的单个RGB图像以产生描述包括被遮挡的可穿越的场景的可穿越空间的信息。描述可穿越空间的信息可以包括可穿越空间(可见和被遮挡的两者)和不可穿越空间的分割掩码以及深度图，该深度图指示到与可穿越表面对应的估计深度，该可穿越表面被确定为与可穿越空间的每个像素对应。

技术领域

所描述的主题总体上涉及机器视觉，并且具体地涉及训练机器学习模型以根据单个图像确定场景中的可穿越空间。

背景技术

深度感测在导航和场景理解两者中都有应用。计算机化代理(例如，街道清洁机器人或增强现实角色)知道如何探索可见的和隐藏不可见的世界两者是有帮助的。然而，大多数方法旨在预测对相机可见的表面的几何形状，这在计划用于机器人或增强现实角色的路径时用途有限。通常，这样的代理的移动仅限于可穿越表面，诸如草地、人行道和道路。但是，许多场景分析算法都是基于视线的，因此不检测被场景中的对象遮蔽的可穿越表面。例如，虽然现实中的一棵树在地面上的足迹相对较小，但它可能会在场景中遮蔽其后面的大量可穿越地面。预测超出视线范围的现有模型通常利用体素或网格对场景进行参数化，这在机器学习框架中使用可能会很昂贵。

发明内容

模型从输入图像预测可见和被遮挡的可穿越表面两者的几何形状。该模型可以从立体视频序列被训练，使用相机姿势、每帧深度和语义分割来形成训练数据，该训练数据用于监督图像到图像网络。使用所公开的方法，为了获得具有使用准确性的模型，训练场景的空间覆盖率具有令人惊讶的低门槛。

在各种实施例中，模型被应用于描绘场景的单个RGB图像以产生描述包括被遮挡的可穿越空间(例如，被场景中的对象遮挡的可穿越表面)的场景的可穿越空间的信息。描述可穿越空间的信息可以包括表示可见可穿越空间和可见不可穿越空间的像素的分割掩码、指示从相机到由图像中的每个像素表示的表面的估计深度的深度图、可穿越空间(例如，可见的和被遮挡的两者)和不可穿越空间的分割掩码，以及指示到可穿越表面的估计深度的深度图，该可穿越表面与被确定为对应于可穿越空间的每个像素对应。除了其他应用以外，该信息可以使代理知道它可以在哪里行走、滚动或以其他方式行进超出直接可见的表面。除了对可见表面进行建模外，该模型还可以标识移动或静态对象排除穿越的区域。否则可穿越表面的这些占用区域被称为足迹。

许多先前的方法依赖于边界框估计，其限于长方体对象预测。估计缺失几何的其他方法需要完整的静态训练环境，这些环境要么是小规模的，要么是合成的，以便在计算上可行。与之相对照，在训练时仅给出真实世界场景的部分视图，所公开的模型可以创建对隐藏表面的有价值的预测。这些模型可以使用可从单个彩色图像得出的隐藏几何的轻量级表示，该单个彩色图像可以使用视频深度数据被训练。这些模型还可以根据基于移动对象或场景的不完整观察的视频被训练，通过对移动对象的掩蔽、针对丢失或未知数据的空间可穿越或不可穿越的预定概率以及使深度的使用来提供附加信息。

一些先前的方法还使用资源密集型计算技术来预测测试时的可穿越空间，诸如基于体素的技术。这些或其他先前方法中的一些先前方法也不考虑场景中对象的定位，不确定相对于输入图像的相机视图的可穿越空间，或者不考虑对象移动。与之相对照，所公开的模型可以根据输入图像的视图来高效地确定可穿越空间，该视图考虑了测试时的对象足迹和移动。

附图说明

图1示出了根据一个或多个实施例的网络计算环境。

图2描绘了根据一个或多个实施例的具有与现实世界并行的地理的虚拟世界的表示。

图3描绘了根据一个或多个实施例的并行现实游戏的示例性游戏洁面。

图4示出了根据一个或多个实施例的用于生成训练数据以训练可穿越空间估计模型的过程。

图5是描述根据一个或多个实施例的训练可穿越空间模型的一般过程的流程图。