[发明专利]用于视频编解码的预测相关残差缩放的方法和装置

说明书

本发明提供了用于降低计算复杂性、片上存储器要求以及由LMCS引入的解码延迟的方法。在一种方法中，获得用于对亮度残差样本进行解码的亮度预测样本，使用所述亮度预测样本导出缩放因子，所述缩放因子被用于对所述亮度残差样本进行缩放，以及通过将所述亮度预测样本与缩放后的亮度残差样本相加来计算重构的亮度样本。

相关申请的交叉引用

本申请要求2019年06月20日提交的第62/864,497号美国临时专利申请的优先权，其全部内容通过引用整体并入本文中。

技术领域

本发明总体上涉及视频编解码和压缩。更具体地，本发明涉及使用预测相关残差缩放对编码单元进行视频编解码的系统和方法。

背景技术

本部分提供与本发明相关的背景信息。本部分中包含的信息不应一定被解释为现有技术。

可以使用各种视频编解码技术中的任一种来压缩视频数据。可以根据一种或多种视频编解码标准来执行视频编解码。一些说明性视频编解码标准包括：通用视频编解码(VVC)、联合探索测试模型(JEM)编解码、高效视频编解码(H.265/HEVC)、高级视频编解码(H.264/AVC)和运动图片专家组(MPEG)编解码。

视频编解码通常使用利用了视频图像或序列中固有的冗余的预测方法(如帧间预测、帧内预测等)。视频编解码技术的一个目标是将视频数据压缩成一种使用较低比特率的形式，同时避免或减少视频质量的下降。

HEVC标准的第一版于2013年10月最终确定，与上一代视频编解码标准H.264/MPEGAVC相比，节省了约50％的比特率或等效感知质量。尽管HEVC标准比之前的标准在编解码方面有了显著的改进，但有证据表明，与HEVC相比，使用额外的编解码工具可以实现更高的编解码效率。基于此，VCEG和MPEG都开始了对未来视频编解码标准化新编解码技术的探索工作。ITU-T VECG和ISO/IEC MPEG于2015年10月成立了一个联合视频探索小组(JVET)，开始对能够显著提高编解码效率的先进技术进行重要研究。JVET通过在HEVC测试模型(HM)之上集成若干额外的编解码工具来维护一种称为联合探索模型(JEM)的参考软件。

2017年10月，ITU-T和ISO/IEC发布了关于具有超越HEVC能力的视频压缩的联合提案(CfP)。2018年4月，在第10届JVET会议上收到并评估了23份CfP回复，这些回复表明压缩效率比HEVC提高了约40％。基于这些评估结果，JVET启动了一个新项目，以开发名为通用视频编解码(VVC)的新一代视频编解码标准。同月，建立了一个称为VVC测试模型(VTM)的参考软件，用于演示VVC标准的参考实施。

在视频编解码中使用的预测方法通常包括进行空间(帧内)预测和/或时间(帧间)预测以减少或去除视频数据中固有的冗余，并且通常与基于块的视频编解码相关联。与HEVC一样，VVC建立在基于块的混合视频编解码框架之上。

在基于块的视频编解码中，输入视频信号被逐块处理。对于每个块(也称为编码单元(CU))，可以执行空间预测和/或时间预测。在较新的视频编解码标准中，如最新的VVC设计中，可以基于不仅包括四叉树还包括二叉树和/或三叉树的多类型树结构对块进行进一步划分。这允许更好地适应不同的局部特征。

空间预测(也称为“帧内预测”)使用来自同一视频图片/切片中已经编码的相邻块(称为参考样本)的样本的像素来预测当前块。空间预测减少了视频信号中固有的空间冗余。

在解码过程中，首先在熵解码单元对视频比特流进行熵解码。编码模式和预测信息被发送到空间预测单元(帧内编码时)或时间预测单元(帧间编码时)以形成预测块。残差变换系数被送到逆量化单元和逆变换单元以重构残差块。然后将预测块和残差块相加。重构块在被存储在参考图片存储器中之前可以进一步经过环内滤波。然后将参考图片存储器中的重构视频发送出去以驱动显示设备，并且用于预测未来的视频块。