[发明专利]多视点视频处理方法和装置

说明书

公开了用于有效减少媒体内容传输和有效呈现沉浸式媒体内容的方法、装置和系统。在一个示例方面中，一种方法包括由用户根据用户的当前观看位置和观看方向向服务器请求媒体文件，由用户根据用户的当前观看位置和观看方向从服务器接收媒体文件，提取图集的补片，以及合成用户的当前窗口区域中的视觉内容，并由用户根据用户的当前观看位置和观看方向获得三维立体视频内容。

技术领域

本发明通常涉及沉浸式技术。

背景技术

随着人机交互和人工智能技术的最新发展，沉浸式技术正在彻底改变我们的工作和生活方式。沉浸式技术应用于多个领域，包括营销和广告、医疗保健、教育和游戏。新的沉浸式技术的快速发展要求有效地处理视频和图像数据。

发明内容

公开了与支持具有沿X轴、Y轴和Z轴的附加有限平移运动(通常是头部运动)的3DoF的媒体数据表示有关的方法、设备和应用程序，其有效地减少了媒体内容传输并有效地呈现了沉浸式媒体内容。

在所公开技术的一个示例性实施例中，一种方法包括，由用户根据用户的当前观看位置、观看方向和视口向服务器请求媒体文件，由用户根据用户的当前观看位置、观看方向和视口从服务器接收媒体文件，提取一个或多个图集的补片，并合成用户当前视口中的视觉内容，并由用户获得用户当前视口中的三维立体视频内容。

在所公开技术的另一个示例性实施例中，一种构建媒体内容的方法包括将多个媒体样本放置到(或从中提取)与多个视图相关联的媒体文件中，该多个视图包括一个或多个基础视图和一个或多个附加视图，使得每个媒体样本对应于多个视图中的一个或多个，并且包括相应视图的纹理分量或深度分量中的至少一个，确定与一个或多个基础视图相对应的基础视图媒体轨道和一个或多个附加视图媒体轨道，使得每个媒体轨道包括一个或多个用于描述关于相应视图的信息的指示符，以及通过将多个媒体样本分组为一个或多个样本组，基于一个或多个指示符从多个媒体样本来构建媒体内容，其中一个或多个样本组中的每个与一个基础视图相关联，或者通过对其中放置有多个媒体样本的多个媒体轨道进行分组，基于一个或多个指示符从多个媒体样本来构建媒体内容。

在所公开技术的又一个示例性实施例中，一种构建媒体内容的方法包括将多个媒体样本放置到(或从中提取)与多个视图相关联的媒体文件中，该多个视图包括多个基础视图和多个附加视图，使得每个媒体样本对应于多个视图中的一个，并且包括与相应视图相关联的纹理分量或深度分量中的至少一个，确定分别对应于多个基础视图的多个基础视图媒体轨道，以及分别对应于多个附加视图的多个附加视图媒体轨道，使得每个媒体轨道包括用于描述关于相应视图的信息的一个或多个指示符，以及通过将多个媒体样本分组为一个或多个媒体样本组来基于一个或多个指示符从多个媒体样本构建媒体内容，该一个或多个媒体样本组中的每个与至少一个基础视图相关联。

在所公开技术的又一个示例性实施例中，一种构建媒体内容的方法包括，根据观看方向、观看位置和观看窗口，将包括对应于多个视图的摄像机参数的摄像机信息放置到(或从中提取)与多个视图相关联的媒体文件中，基于摄像机参数信息，从媒体文件中选择媒体元数据，并基于媒体元数据构建媒体内容。

一些实施例可以优选地如下实施这些方法：

上述方法，其中，基础视图包括用于预测其他视图的视图。

上述方法，其中，每个基础视图对应一个视图图集。

上述方法，其中，基于基础视图图集和或附加视图图集来获取补片。

上述方法，其中，基于一个或多个基础视图和一个或多个附加视图的组合来构建媒体内容。

上述方法，其中，一个或多个指示符包括用于将对应于两个或更多个基础视图的图集的多个样本分组到样本组中的指示符。

上述方法，其中，一个或多个指示符包括用于指示每个媒体轨道包含纹理分量还是深度分量还是两者都包含的指示符。