[发明专利]整合的图像整形和视频编码

说明书

在给定了采用第一码字表示的图像序列的情况下，提出了用于将整形整合到用于对图像进行编码和解码的下一代视频编解码器中的方法、过程和系统，其中，整形允许采用第二码字表示对所述图像的一部分进行编码，所述第二码字表示允许比使用所述第一码字表示更高效的压缩。讨论了各种架构，包括：环外整形架构、仅用于帧内图片的环内整形架构、用于预测残差的环内架构以及混合环内整形架构。还提出了用于用信号传送整形参数的语法方法以及关于整形而优化的图像编码方法。

相关申请的交叉引用

本申请要求于2018年6月19日提交的美国临时专利申请序列号62/686,738、于2018年6月5日提交的序列号62/680,710、于2018年2月12日提交的序列号62/629,313、于2017年9月21日提交的序列号62/561,561、以及于2017年6月29日提交的序列号62/526,577的优先权，这些美国专利申请中的每一个通过引用以其全文结合于本文中。

技术领域

本发明总体上涉及图像和视频编码。更具体地，本发明的实施例涉及整合的图像整形和视频编码。

背景技术

2013年，国际标准化组织(ISO)中的MPEG专家组连同国际电信联盟(ITU)发布了HEVC(也称为H.265)视频编码标准的初稿。最近，MPEG专家组发布了一项证据用于支持下一代编码标准的开发，所述下一代编码标准提供了与现有视频编码技术相比改进的编码性能。

如本文所使用的，术语‘比特深度(bit depth)’表示用于表示图像的颜色分量之一的像素数量。传统上，图像以每个像素每颜色分量8比特(例如，每像素24比特)来编码；然而，现代架构现在可以支持更高的比特深度，诸如10比特、12比特或更多。

在传统图像流水线(pipeline)中，使用非线性光电函数(OETF)来量化所捕获的图像，所述非线性光电函数将线性场景光转换为非线性视频信号(例如，伽马编码的RGB或YCbCr)。然后，信号在被显示在显示器上之前在接收器上通过电光转换函数(EOTF)来处理，所述电光转换函数将视频信号值转化成输出屏幕颜色值。此类非线性函数包括在ITU-RRec.BT.709和BT.2020中记载的传统“伽马”曲线以及SMPTE ST 2084和Rec.ITU-R BT.2100中描述的“PQ”(感知量化)曲线。

如本文所使用的，术语“前向整形(forward reshaping)”表示数字图像从其原始比特深度和原始码字分布或表示(例如，伽马或PQ等)到相同或不同比特深度和不同码字分布或表示的图像的样本到样本映射或码字到码字映射的过程。整形允许以固定的比特率改善可压缩性或改善图像质量。例如，非限制性地，可以将整形应用于10比特或12比特PQ编码的HDR视频，以提高10比特视频编码架构中的编码效率。在接收器中，在解压缩经整形的信号之后，接收器可以应用“逆向整形函数”来将信号恢复到其原始码字分布。如在此由本发明人理解的，随着针对下一代视频编码标准的开发开始，期望用于图像的整合的整形和编码的改进技术。本发明的方法可以适用于各种视频内容，包括但不限于标准动态范围(SDR)和/或高动态范围(HDR)中的内容。

在这一部分中描述的方法是可以寻求的方法，但不一定是之前已经设想到或寻求的方法。因此，除非另有指明，否则不应认为本节中所述的任何方法仅凭其纳入本节就可称为现有技术。类似地，除非另有指明，否则关于一种或多种方法所认定的问题不应基于本节而认为在任何现有技术中被认定。

附图说明

在附图中以举例而非限制的方式来展示本发明的实施例，并且其中相似的附图标记指代相似的元件，并且在附图中：

图1A描绘了视频传输流水线的示例过程；

图1B描绘了根据现有技术的使用信号整形进行数据压缩的示例过程；

图2A描绘了根据本发明的实施例的使用规范的环外整形的编码器的示例架构；