[发明专利]从单个图像确定可穿越空间

权利要求书

1.一种非暂态计算机可读存储介质，存储指令，所述指令当由计算设备执行时使所述计算设备执行操作，所述操作包括：

接收场景的图像，所述图像包括所述场景中的对象；

将所述图像输入到经训练的模型中，所述经训练的模型输出分割掩码和深度图，所述分割掩码指示所述图像的像素是对应于可穿越空间还是不可穿越空间，并且所述深度图指示到针对对应于可穿越空间的所述像素的一个或多个可穿越表面的估计深度，其中所述不可穿越空间包括所述对象的足迹，并且所述可穿越空间包括所述图像中被所述对象遮挡的可穿越空间；以及

应用所述分割掩码和所述深度图来确定被遮挡的所述可穿越空间中的定位。

2.根据权利要求1所述的计算机可读存储介质，其中所述分割图或所述深度图是根据所述场景的所述图像的视图而被表示的。

3.根据权利要求1所述的计算机可读存储介质，其中所述操作还包括：

确定针对代理的通过所述场景的可穿越路径，所述可穿越路径包括被遮挡的所述可穿越空间中的所述定位。

4.根据权利要求1所述的计算机可读存储介质，其中所述经训练的模型还输出附加分割掩码和附加深度图，所述附加分割掩码指示所述像素是对应于可见可穿越空间还是可见不可穿越空间，并且所述深度图指示到一个或多个可见表面的估计深度，所述一个或多个可见表面由所述像素表示。

5.根据权利要求1所述的计算机可读存储介质，其中所述模型通过包括以下的过程被训练：

获取训练图像数据，所述训练图像数据包括训练场景的目标立体图像对和源立体图像对，所述目标立体图像对包括目标图像，所述目标图像来自所述训练场景中的附加对象的目标视图，所述附加对象遮挡所述训练场景中的可穿越表面，所述源立体图像对包括来自源视图的源图像，被遮挡的所述可穿越表面在所述源视图中是可见的；

使用所述源立体图像对来生成针对所述立体图像对的所述源图像的可见可穿越空间深度图，所述可见可穿越空间深度图指示所述源图像中表示被遮挡的所述可穿越表面的像素对应于可穿越空间；

通过将所述可见可穿越空间深度图投影到所述目标视图上，生成针对所述立体图像对的所述源图像的扭曲深度图；

使用所述扭曲深度图来生成针对所述目标图像的目标分割掩码，所述目标分割掩码指示所述目标图像中表示遮挡所述可穿越表面的所述附加对象的部分的像素对应于可穿越空间；

使用所述扭曲深度图来生成针对所述目标图像的目标可穿越深度图，所述目标深度图指示到被遮挡的所述可穿越表面的深度；以及

使用所述目标图像、所述目标分割掩码和所述目标深度图来训练所述模型。

6.根据权利要求5所述的计算机可读存储介质，其中生成所述可见可穿越空间深度图包括：

使用所述源立体图像对来生成可见可穿越空间分割图，所述可见可穿越空间分割图指示所述源图像的像素是对应于可见可穿越空间还是可见不可穿越空间；

使用所述源立体图像对来生成针对所述源图像的可见空间深度图，所述可见空间深度图指示到由所述源图像的所述像素表示的一个或多个可见表面的估计深度；以及

从所述可见可穿越空间分割图和针对所述源图像的所述可见空间深度图生成所述可见可穿越空间深度图。

7.根据权利要求5所述的计算机可读存储介质，其中所述训练图像数据还包括附加源立体图像对，所述附加源立体图像对包括来自附加源视图的附加源图像，被遮挡的所述可穿越表面在所述附加源视图中是可见的，并且其中训练所述模型还包括：

使用所述附加源立体图像对来生成针对所述附加立体图像对的所述附加源图像的附加可见可穿越空间深度图，所述附加可见可穿越空间深度图指示所述附加源图像中表示被遮挡的所述可穿越表面的附加像素对应于可穿越空间；以及

通过将所述附加可见可穿越空间深度图投影到所述目标视图上，生成针对所述附加立体图像对的所述附加源图像的附加扭曲深度图；

通过聚合所述扭曲深度图和所述附加扭曲深度图，生成针对所述目标图像的所述目标分割掩码和所述目标深度图。