[发明专利]一种基于虚拟参考帧的帧内编码方法

说明书

技术领域

本发明涉及一种新的帧内编码方法，尤其涉及一种基于虚拟参考帧的帧内编码，属于计算机视觉技术领域。

背景技术

计算机性能、网络带宽和移动终端处理能力的不断提高，对视频处理提出了速度、性能等方面的新需求。为了不断提高压缩性能，ITU和ISO组织推出了一系列视频编码标准，包括ITU组织的H.26x系列和ISO组织的MPEG-x系列标准，以及最新制定的HEVC标准。最新的HEVC标准致力于满足于用户的1)高清，2)3D，3)移动无线，以满足新的家庭影院、远程监控、数字广播、移动流媒体、便携摄像、医学成像等新领域的需求。在HEVC标准中有多种配置模式，包括HE(High Efficiency)高性能、LC(Low Complexity)低复杂度配置。

这些编码标准所采用的基本编码框架相同，多采用运动补偿+DCT的基本框架。这种框架下视频帧一般分为l(Intra-frame)、P(Predictive-frame)、B(BidirectionaIIy predicted-frame)三种类型：l帧在预测时，不参考其它帧的信息，通过变换、量化等过程完成编码；P帧以前向已编码帧的重建图像为参考，进行运动补偿后编码残差；B帧则以前后双向已编码帧的重建图像为参考，进行运动补偿后编码残差。

在三种类型的视频帧中，I帧是关键帧，起到码流容错的作用。I帧编码过程中一般只利用了空间相关性，所以压缩比一般比较低。虽然在一个视频序列里，l帧的个数比较少，但其每帧编码位数却远高于P、B帧。例如，在H.264标准中，I帧的编码位率是P帧的3～5倍；在HEVC标准中，随着新的帧间预测技术的引入，I帧与P帧的压缩比进一步扩大，在某些视频中，可以达到1∶10。对于输出码率恒定(CBR)的视频流，I帧的码率突然增大，将直接导致减少后续P/B帧的编码位数的下降，进而影响到恢复图像和预测图像的质量。提高l帧的压缩比，不仅对于视频质量的稳定性与连续性起到了至关重要的作用。

预测是视频中常用的提高压缩比的方法，即根据图像特点，利用视频帧之间及其内部的相关性，以已编码对象为参考，保留较少的差分信息，减少最终编码位数。如何在已编码的图像中找到当前待预测对象的最佳匹配源，最大限度地去除冗余信息，使差分信息量达到最小值，这是预测的关键所在。由于I帧在序列中的作用，不能采用P/B帧的方式进行帧间预测，只能采用帧内预测，即在当前图像内部寻找相似对象。帧内预测多采用“空间相邻点预测”，也即基于图像的空域相关性，认为图像上各点与其空间相邻点具有相似性，通过搜索找到相似点后，进行差分编码。

H.264标准中采用的帧内预测以16×16的宏块及4×4的块为基本预测单元，对块内各点在9个方向上进行预测。以4×4块为例，如图1(a)所示，a，b，…，p为当前待预测块，周围17个点Q，l，…，P为已编码点。对a-p逐点，沿图1(b)所示的0，1，…，8及方向2(DC预测)共九个方向，取P-Q-H中的点，用适当的预测公式计算预测值，与原始采样值做差分，差值最小的模式为最终预测模式，最后对预测残差系数进行DCT编码。

在最新的HEVC标准中，引入了CU(编码单元)，PU(预测单元)，TU(变换单元)，三个新的概念。编码单元类似于H.264/AVC中的宏块概念，其大小最大可以为64×64；预测单元是进行预测的基本单元；变换单元是进行变换和量化的基本单元。三个单元的分离，使得变换、预测和编码各个处理环节更加灵活，也更符合视频图像的纹理特征。预测单元的大小可以为4×4，8×8，16×16，32×32，64×64，块的大小不同，预测的模式也不相同，分别为17，34，34，34，和3种模式可选.统一的帧内预测角度为：+/-[0，2，5，9，13，17，21，26，32]/32。

H.264/HEVC标准进行帧内编码时，对每一待编码的象素点均采用多种预测模式，但只是利用了待预测块的上一行，左一列数据，在这个数据范围内，采用近乎穷举的预测点搜索方法进行预测，如果图像相邻点间相关性很差，这种预测不仅不会使图像数据量减少还会因记录模式信息等因素引入更多的冗余信息。

也就是说，帧内编码的核心是：是否存在足够的相似点，以提高预测的准确度，直接决定预测的效果；如何找到相似点的位置，它决定整个预测过程的运算复杂度。

发明内容