[发明专利]一种图像渲染方法及装置

说明书

本发明各个方面提供一种装置，其包括接口电路、处理电路和显示设备。接口电路用于接收媒体数据的媒体描述信息。所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖。处理电路用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段。显示设备用于显示基于所述选择的多个段所生成的多个图像。

优先权声明

本申请主张以下申请的权利：在2016年07月14日提出申请的美国临时专利申请第62/362,078号名称为“Methods and Apparatus of Streaming VR and 360 videoContent”，以及在2016年07月20日提出的美国临时专利申请第62/364,364号名称为“Methods and Apparatus of Streaming VR and 360 video Content”，且上述申请整体以引用方式并入本文中。

背景技术

此处提供的背景技术描述用作一般渲染本发明的内容的目的。目前署名发明人的工作内容，既包含在本背景技术部分中所描述的工作的内容，也包含在申请时未被认为是现有技术的说明书的各方面，这些既不明确也不暗示地被承认是本发明的现有技术。

可渲染三维环境以提供特殊的用户体验。例如，在虚拟现实(virtual reality，VR)应用中，计算机技术创建复制现实环境的现实图像、声音以及其他感觉，或者创建想象的环境，这样用户可以具有在三维环境中物理存在的模拟体验。

发明内容

本发明的目的在于，提供一种图像渲染方法及装置，以解决上述问题，使得用户在三维环境中能具有模拟体验。

本发明的各个方面提供一种装置，其包括接口电路、处理电路和显示设备。接口电路用于接收媒体数据的媒体描述信息。所述媒体数据包括用于视频内容的在空域上具有不同覆盖的多个段流，所述媒体描述信息表示所述多个段流的在空域上的所述不同覆盖。处理电路用于基于用于图像生成的感兴趣区域以及所述多个段流的在空域上的所述不同覆盖确定一个或者多个段流，在所述一个或者多个段流中选择多个段，以及使得所述接口电路请求和接收所述选择的多个段。显示设备用于显示基于所述选择的多个段所生成的多个图像。

在一个实施例中，所述多个段流分别对应于自球面的已投影的平面的多个子图像区域。在一个示例中，所述媒体描述信息包括用于多个子图像区域的多个部分，并且在用于所述多个子图像区域的所述多个部分中分别包括地理信息；所述处理电路用于基于用于所述多个子图像区域的所述多个部分中的所述地理信息确定所述一个或者多个段流。进一步地，一个部分包括对应于所述地理信息的多个段流和不同比特率的多个表示；所述处理电路用于确定满足比特率要求的比特率的表示。

根据本发明的一方面，所述媒体描述信息至少用于表示第一段流和第二段流，所述第一段流和所述第二段流覆盖至少部分具有不同分辨率的所述感兴趣区域；所述处理电路用于基于质量要求从所述第一段流和所述第二段流中的一个切换到另一个。

根据本发明的另一方面，所述媒体描述信息用于表示所述多个段流对应于自球面到柏拉图立体的已投影面；所述处理电路用于确定对应于各自已投影面的所述一个或者多个段流。

在一个实施例中，所述多个段流对应于在二维平面内具有不同区域的所述二维平面，所述二维平面具有特定分辨率；所述处理电路用于使用具有所述特定分辨率的所述感兴趣区域来确定一个段流。

在一个示例中，所述媒体描述信息包括投影指示，所述投影指示表示从球面到平面的投影方法。

在另一个示例中，所述媒体描述信息包括球面坐标系统内的地理信息，以表示空域上所述不同覆盖。