[发明专利]帧速率可伸缩视频编码

说明书

描述了用于帧速率可伸缩性的方法和系统。对于具有跨场景的可变帧速率和可变快门角度的输入和输出视频序列，或者对于具有固定的输入帧速率和输入快门角度、但允许解码器以不同于对应输入值的输出帧速率和快门角度生成视频输出的输入视频序列，提供支持。还呈现了允许解码器在计算上更高效地对所允许的那些帧速率和快门角度中的特定向后兼容目标帧速率和快门角度进行解码的技术。

本申请是申请日为2020年3月11日、于2020年9月24日进入中国国家阶段的申请号为202080002086.5、发明名称为“帧速率可伸缩视频编码”的中国发明专利申请的分案申请。

相关申请的交叉引用

本申请要求于2019年3月11日提交的美国临时申请第62/816,521号、于2019年5月21日提交的美国临时申请第62/850,985号、于2019年8月6日提交的美国临时申请第62/883,195号和于2019年9月24日提交的美国临时申请第62/904,744号的优先权的权益，所述美国临时申请中的每一个以引用方式以其全文并入。

技术领域

本文件总体上涉及图像。更特别地，本发明的实施例涉及帧速率可伸缩(frame-rate scalable)视频编码。

背景技术

如本文所使用的，术语“动态范围(DR)”可以涉及人类视觉系统(HVS)感知图像中的强度(例如，光亮度(luminance)、亮度(luma))的范围的能力，所述强度的范围例如是从最暗的灰色(黑色)到最亮的白色(高光)。从这个意义上说，DR与“参考场景的(scene-referred)”强度有关。DR还可以涉及显示设备充分或近似渲染特定阔度(breadth)的强度范围的能力。从这个意义上说，DR与“参考显示的(display-referred)”强度有关。在本文的描述中除非在任何一点明确指定特定的意义具有特定的意思，否则应推断为所述术语可以在任一意义上例如可互换地被使用。

如本文所使用的，术语“高动态范围(HDR)”涉及跨越人类视觉系统(HVS)的14至15个数量级的DR阔度。在实践中，关于HDR，人类可以同时感知强度范围广泛阔度的DR可能会被稍微截短。

在实践中，图像包括一个或多个颜色分量(例如，亮度Y以及色度Cb和Cr)，其中，每个颜色分量由每像素n比特的精度表示(例如，n＝8)。使用线性光亮度编码，其中n≤8的图像(例如，彩色24比特JPEG图像)被视为标准动态范围(SDR)的图像，而其中n8的图像可以被视为增强动态范围的图像。HDR图像还可以使用高精度(例如，16比特)浮点格式被存储和分发，诸如由工业光魔公司(Industrial Light and Magic)开发的OpenEXR文档格式。

目前，视频高动态范围内容(诸如杜比实验室的杜比视界或蓝光中的HDR10)的分发被许多回放设备的性能限制在4K分辨率(例如，4096×2160或3840×2160等)和60帧/秒(fps)。在未来版本中，预计高达8K分辨率(例如，7680×4320)和120fps的内容可用于分发和回放。期望未来的内容类型将与现有的回放设备兼容，以简化HDR回放内容生态系统，诸如杜比视界。理想地，内容生产者应能够采用和分发未来的HDR技术，而不必还获得和分发与现有HDR设备(诸如HDR10或杜比视界)兼容的内容的特殊版本。如发明人在此所理解的，期望用于视频内容(尤其是HDR内容)的可伸缩分发的改进技术。

在本节中描述的方法是可以追寻的方法，但不一定是之前已经设想到或追寻的方法。因此，除非另有指示，否则不应假设本节所描述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指示，否则关于一种或多种方法所认定的问题不应基于本节而被认为在任何现有技术中已被认识到。

附图说明

在附图中以举例而非限制的方式来图示本发明的实施例，并且其中相似的附图标记指代相似的元素，并且在附图中：

图1描绘了视频传输(video delivery)流水线的示例过程；