[发明专利]用于视频编解码的帧内-帧间预测的方法及装置

说明书

本申请公开一种视频编解码的方法及装置。依据一种方法，当前块中的边界区域被确定。对于边界区域中的每个像素，帧内预测子和帧间预测子可以被推导出。透过混合帧内预测子和帧间预测子，帧内‑帧间预测子被生成。使用帧内‑帧间预测子，当前块的边界区域中的像素被编码或解码。对于当前块中不属于边界区域的剩余像素，使用帧间预测子或帧内预测子，这些像素被编码或解码。在另一方法中，透过将帧内加权因子与帧间加权因子之和缩放成2的幂，帧内‑帧间预测流程被实现，以避免除法操作的需要。在又一方法中，帧内‑帧间预测基于当前块尺寸被应用。

交叉申请

本申请主张2017年1月7日申请的美国临时专利申请62/516,157的优先权，该申请的全文被本申请引用。

技术领域

本申请涉及视频编解码帧间预测。具体而言，本申请涉及一种透过混合帧间与帧内预测的新的帧间预测。

背景技术

视频数据需要较大的存储空间来存储或者较宽的带宽来传输。随着较高分辨率和较高帧率的增长，如果视频数据以未压缩的形式被存储或传输，则存储或传输带宽需求将是巨大的。因此，使用视频编解码技术，视频数据通常以已压缩的格式被存储或传输。使用较新的视频压缩格式，例如，H.264/AVC标准和高效视频编解码(High Efficiency VideoCoding，HEVC)标准，编解码效率实际上已被提高。为了保持可控的复杂度，图像通常被分割成块，例如，宏块(macroblock，MB)或最大编码单元(LCU)/编码单元(CU)，以用于视频编解码。视频编解码标准通常基于块适应性采用帧间/帧内预测。

图1示出了集成环路处理的示例性适应性帧间/帧内视频编解码系统。对于帧间预测，运动估计(Motion Estimation，ME)/运动补偿(Motion Compensation，MC)112用于基于来自于一个或多个其他图像的视频数据提供预测数据。开关114选择帧内预测110或帧间预测数据，所选择的预测数据被提供给加法器116，以形成预测误差，也称为残差。随后，预测误差，先由变换(Transform，T)118进行处理，后由量化(Quantization，Q)120进行处理。随后，已变换且已量化残差由熵编码器122进行编解码，以被包含在对应于已压缩视频数据的视频比特流中。随后，与变换系数相关的比特流与辅助信息一起被封装，例如，运动、编解码模式和与图像区域相关的其他信息。辅助信息，例如，帧间预测数据、运动信息和环路滤波器信息，也可以透过熵编码进行压缩，以降低所需带宽。因此，如图1所示，与辅助信息相关的数据被提供给熵编码器122。当帧间预测模式被使用时，一个或多个参考图像也必须在编码器端被重构。因此，已变换且已量化残差由逆量化(Inverse Quantization，IQ)124和逆变换(Inverse Transformation，IT)126进行处理，以恢复残差。随后，残差在重构(Reconstruction，REC)128处与预测数据136相加，以重构视频数据。已重构视频数据可以被存储在参考图像缓存器134中，并用于其他帧的预测。

如图1所示，在编码系统中，输入的视频数据经历一系列处理。由于一系列的处理，来自于重构128的已重构视频数据可能经受不同的损坏。因此，环路滤波器130通常在已重构视频数据被存储到参考图像缓存器134之前被应用于已重构视频数据，以便提高视频质量。例如，去块(deblocking filter，DF)滤波器和样本适应性偏移(Sample AdaptiveOffset，SAO)已在高效视频编解码(High Efficiency Video Coding，HEVC)标准中使用。滤波器信息可以必须被包括在比特流中，使得解码器可以适当地恢复所需信息。因此，环路滤波器信息被提供给熵编码器122以包含在比特流中。在图1中，在已重构样本被存储在参考图像缓存器134之前，环路滤波器130被应用于已重构视频。图1中的系统旨在示出典型的视频编码器的示例性结构。