[发明专利]解码器、视频处理方法、系统和装置

说明书

提供了用于编码宽视图视频的球面旋转。描述了用于对诸如球面或半球面视频之类的具有宽视场的视频进行编码的球面旋转。一个示例涉及接收包括旋转取向元数据的经编码的视频、对该视频进行解码、提取旋转取向元数据、基于旋转取向元数据对经解码的视频进行旋转、生成经旋转的经解码的视频的视图、以及缓冲所生成的视图以用于显示。

本申请是申请日为2017年11月15日、题为“用于编码宽视图视频的球面旋转”的中国发明专利申请No.201780067678.3(PCT国际申请PCT/US2017/061714)的分案申请。

相关申请的交叉引用

本申请要求2016年11月17日递交的题为“SPHERICAL ROTATION FOR IMPROVEDPANORAMIC VIDEO CODING EFFICIENCY(用于提高全景视频编码效率的球面旋转)”的美国临时申请序列号62/423,319的优先权，其公开内容通过引用结合于此。

技术领域

本说明书涉及对经编码的视频的传送，并且具体地，涉及随视频传送视频的球面旋转。

发明内容

本申请的一个方面提供了一种解码器，包括：第一电路，用于进行以下操作：基于补充增强信息消息来对视频比特流进行解码，所述补充增强信息消息包括球面旋转补充增强信息消息，所述球面旋转补充增强信息消息包括关于旋转角度偏航(α)、俯仰(β)、和滚转(γ)的信息，所述旋转角度偏航(α)、俯仰(β)、和滚转(γ)被用于进行全局坐标轴和局部坐标轴之间的转换，其中，滚转对应于绕x轴的旋转，俯仰对应于绕y轴的旋转，并且偏航对应于绕z轴的旋转，所述球面旋转补充增强信息消息包括：球面旋转取消标志(sphere_rotation_cancel_flag)，其中，所述sphere_rotation_cancel_flag等于1表示所述球面旋转补充增强信息消息取消任何先前球面旋转补充增强信息消息的持续；球面旋转持续标志(sphere_rotation_persistence_flag)，所述sphere_rotation_persistence_flag指定所述球面旋转补充增强信息消息针对当前层的持续，其中，所述sphere_rotation_persistence_flag等于0用于指定所述球面旋转补充增强信息消息仅应用于当前解码的图片，其中，所述sphere_rotation_persistence_flag等于1指定：所述球面旋转补充增强信息消息针对所述当前层持续，直到一个或多个条件被满足，以及，以下各项中的至少一项：偏航_旋转(yaw_rotation)，其中，yaw_rotation指定偏航旋转角度的值，其中，yaw_rotation为0表示没有偏航旋转，俯仰_旋转(pitch_rotation)，其中，pitch_rotation指定俯仰旋转角度的值，其中，0表示没有俯仰旋转，或者滚转_旋转(roll_rotation)，其中，roll_rotation指定滚转旋转角度的值，其中roll_rotation为0表示没有滚转旋转；以及第二电路，用于输出经解码的视频比特流。

背景技术

随着低成本高清摄像机和高速互联网连通的出现，视频互联网流量迅速增长。360度视频是虚拟现实、视频会议、汽车和监控应用等领域的一种新兴趋势，并且受到包括180度和360度视场相机的宽视场相机的支持。专门的网站和频道也可用于发布和观看包括虚拟现实内容的360度视频。对于用户组之间的协作，360度视频提供了更大的灵活性。不同于在相机之间进行切换，远程观看者可以使用360度视图跨房间移动，并且放大相机的视图中的感兴趣的人或对象。

使用虚拟现实(VR)头戴式显示器的全景视频播放系统正在兴起，以供消费者使用。通常通过将由多个摄像机捕获的2D视频拼接成球面表示(representation)来创建全景和360度视频内容。在某些情况下，在软件中对多个视图进行渲染。然后将球面视频投影成适合于视频编码的格式，例如等距矩形(equi-rectangular)投影格式或立方体贴图(cubemap)投影格式。