[发明专利]用于三维重建在网络上的大量分发的系统和方法

说明书

相关专利申请的交叉参考

本申请要求在2014年3月12日提交的美国临时申请No.61/952,055和在2015年2月10日提交的美国专利申请No.14/618,731的优先权，其中每个申请通过引用将其整体并入本文。本申请涉及在2014年11月10日提交的标题为SYSTEMS AND METHODS FOR SCALABLE ASYNCHRONOUS COMPUTING FRAMEWORK的美国专利申请No.14/537,768和在2014年12月1日提交的标题为SYSTEMS AND METHODS FOR RECONSTRUCTING 3-DIMENSIONAL MODEL BASED ON VERTICES的美国专利申请No.14/557,238，其中每个申请通过引用将其整体并入本文。

发明背景

1.发明领域

本实施例大体上涉及将图形显示信息分发给用户设备，并且更具体地涉及分发与三维空间相关联的图形显示信息。

2.背景

用于由许多用户设备显示的基础数据的实时呈现(包括视频/图像或其它合适的数据类型的呈现)可以以多种方式来实现。例如，服务器和用户设备处理的组合可以被提供以至少在服务器端呈现基础数据的一部分和在用户端呈现基础数据的一部分。在其它实例中，基础数据可以被完全呈现在服务器端。在任一实例中，基于云的呈现可允许呈现视频、图像、游戏以及来自云的其它类型应用数据的基础数据以减少或以其它方式最小化用户端呈现。因此，延迟可变得有问题，其中延迟基于通过接收用户输入(例如，从某一角度/视角查看目标空间)到输出用户输出(例如，输出对应于用户输入的视频/帧)所定义的时间间隔来确定。这是因为用户输入可以被编码以被传送至呈现服务器，其中用户输入可以解码。所呈现的结果(例如，用户输入)可然后在服务器端被编码，传送至用户设备并被解码以用于消耗。由于通过编码和解码过程添加至用户输出的伪像可以降低用户输出的质量(特别是当涉及大量运动时，假如其中几何结构可变得复杂)。

如所描述的，基于云/服务器的呈现具有缺点，诸如延迟、降低的用户输出质量等。此外，使用云/服务器实现基础数据呈现可以是过于昂贵的。例如，对于低于2000用户而言，呈现实况视频流的服务器每月可花费高达5百万美元。

因此，期望实现用于呈现多用户设备的基础数据的成本有效的系统和方法。

公开内容的概述

本文中描述了用于将图形显示信息分发给多个用户设备的系统和方法。在各种实施例中，图形显示信息可涉及在实况场景中的呈现的对象(当其发生在目标空间中时)。图形显示信息可与分割的二维子画面、三维对象和/或其它背景/静态对象(共同称为“元素”)相关联。用户设备中的每个可显示实况场景(例如，包括呈现的元素)的给定角度/视角的二维视频/图像(例如，用户输出)。二维视频/图像的角度/视角可基于用户输入而改变(例如，用户可选择实况场景的角度/视角)。用户设备中的每个可以是具有至少一个处理器(例如，GPU)的合适的移动或非移动的计算设备以用于本地呈现。

分发服务器可以被提供以将基础数据分发给将在用户设备处呈现(部分到全部)的用户设备。在一些实施例中，分发服务器可至少包括用于有效分发的内容分发网络(CDN)。在其它实施例中，数据通过对等网络在用户间被分发，而不需要路由到服务器。基础数据可包括用于呈现每个图像或视频帧的元数据。基础数据可以被编码且被流式传送到用户设备。每个用户设备然后可译码基础数据(例如，以着色器语言借助用户设备的GPU)以将视频/图像在本地呈现在用户设备上，使用用户输入以在本地呈现摄像机位置。因此，由于从接收关于角度/视角的用户输入到基于用户输入在用户设备上输出视频/图像所花费的时间降低，延迟可被最小化。这是因为输入和呈现的循环保持在用户设备内，并且实况呈现的代理被传输到所有用户设备，用于摄影机角度投影。此外，也可以最小化视频流的初始处理的延迟。因此，如本文所述的此类分发框架可以通过CDN在大量(例如，数百万)用户上自动缩放。

本文所述的实施例涉及系统和方法，包括但不限于：确定对象在目标空间内的位置；将对象的位置编码为与基础帧的至少一个像素相关联的RGB值；并且向用户设备传送基础帧用于解码对象的位置。

在一些实施例中，目标空间为三维体积；并且目标空间由多个顶点界定。

在各种实施例中，对象的位置由与在三维坐标系上的坐标相关联的顶点界定。