[发明专利]使用神经网络的场景理解和生成

摘要

用于图像渲染的方法、系统和装置，包括在计算机存储介质上编码的计算机程序。在一个方面，一种方法包括接收表征特定场景的多个观察，每个观察包括特定场景的图像和识别捕获图像的相机的位置的数据。在另一方面，该方法包括接收表征特定视频的多个观察，每个观察包括来自特定视频的视频帧和识别特定视频中的视频帧的时间戳的数据。在又一方面，该方法包括接收表征特定图像的多个观察，每个观察包括特定图像的裁剪和表征特定图像的裁剪的数据。该方法使用观察神经网络处理多个观察中的每个观察以确定数字表示作为输出。

主权项

1.一种方法，包括：接收表征特定场景的多个观察，每个观察包括特定场景的图像和识别捕获图像的相机的位置的数据；使用观察神经网络处理所述多个观察中的每一个，其中，观察神经网络被配置为对于观察中的每一个：处理观察以生成观察的低维表示；通过组合观察的低维表示来确定特定场景的数字表示；以及提供所述特定场景的数字表示，用于表征所述特定场景的内容。