[发明专利]基于结构相似度的感知视频编码方法和系统

说明书

相关申请的交叉引用

本申请要求于2011年6月1日提交的专利号为US61/492,081美国分案申请以及于2011年8月15日提交的专利号US61/523,610的美国分案申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本发明主要涉及视频编码，尤其涉及一种基于结构相似度的视频编码来提高解码后的视频感知质量而不增加数据码率，或者降低压缩视频流的数据码率而不会牺牲解码后的视频的感知质量。

背景技术

在数字图像应用的各个环节，如采集，处理，压缩，存储，传输和再现过程中都会造成各种失真，任何一个过程都可以导致视觉质量的下降。由于图像最终是供用户观看的，量化视觉图像质量最可靠的方法是通过主观评价。然而在实践中，主观评价通常是不太方便，耗时和昂贵的。客观图像质量度量可以自动预测感知图像质量。最简单且最广泛使用的质量度量方法是通过计算失真及参考图像像素的均方差(MSE)和相关峰值信噪比(PSNR)。但是这些方法经过验证都不能很好的匹配感知视觉质量。在过去的十几年中，大量的努力付出在开发先进的质量评估方法。其中的结构相似指数(SSIM)方法在复杂性和质量预测准确性之间取得了一个很好的权衡，已成为被学术研究人员和行业实施者最广泛认可的图像/视频质量测量方法。总而言之，视频编码通常需要在数据码率R和允许的失真值D之间取得一个最好的权衡。现有的视频编码技术使用绝对差之和(SAD)或平方差之和(SSD)作为失真值D的模型，然而这种方法因其较差的感知图像质量的相关性在文献中被广泛批判。其他方法也试图定义基于D的SSIM和优化码率SSIM用于视频编码。

鉴于此，需要提供一种改进的方案，以解决上述的问题。

发明内容

在一方面，本发明涉及了一种使用结构相似度相除归一化机制的感知视频编码方法来改善视频编码方案，包括MPEG/H.264 AVC标准和高效率视频编码HEVC。

另一方面，本发明涉及一种使用相除归一化法的感知视频编码方法，包括以下步骤：在当前帧的编码过程中，从一个或多个先前编码的帧的预测中，减掉视频的当前帧，得到一个预测残差；变换所述预测残差形成一系列系数；使用相除归一化机制归一化各个系数；对归一化的系数进行率失真优化，量化和熵编码。

在另一方面，本发明涉及一种适应于各个变换系数的相除归一化因子的计算，通过利用像素，或变换域，或两者的信息，和至少如下任意一项信息，反映或粗略估计结构相似度指标中的归一化因子：编码的原始当前帧；先前编码的相邻帧在解码后的版本；从先前编码帧预测出来的当前帧；和预测残差。在又一个方面，本发明涉及在相除归一化变换领域的率失真(RDO)优化，其中最优拉格朗日参数由量化步距和变换系数的先验分布确定。

在又一个方面，本发明涉及一种感知视频编码方法，包括如下步骤：在当前帧的编码过程中，从一个或多个先前编码的帧的预测中，减去视频的当前帧，得到一个预测残差；变换所述预测残差形成一系列系数；使用相除归一化机制归一化各个系数；对归一化的系数进行码率-失真优化，量化和熵编码，还包括如下步骤：利用相除归一化机制，通过确定一个相除归一化因子来归一化各个系数；通过利用像素，或变换域，或两者中都存在的信息，和至少如下任意一项信息，粗略估计结构相似度指标中的归一化因子：编码的原始当前帧；一个或多个所述编码的相邻帧和当前帧解码后的版本；当前帧对于一个或多个先前编码帧的预测残差；和当前帧的预测残差；还包括如下步骤：在当前帧中，通过在相应的一个或多个先前编码帧或当前帧的预测的能量中使用一个比例因子，来确定一个基于当前帧中AC系数估算的能量的相除归一化系数。在一个实施例中，所述方法还包括，通过为每个MB/变换单位(TU)分割基于结构相似度的相除归一化因子，使其在所述整个帧中成为大小相同的小块，计算每个MB/变换单位(TU)的基于结构相似度的相除归一化因子，之后计算每个MB/TU内所有小块相除归一化因子的平均值。

在另一个实施例中，所述方法还包括为根据所述整个被编码帧的局部基于结构相似度的相除归一化因子的预期值，为每个MB/TU归一化一个局部基于结构相似度的相除归一化因子。

在另一个实施例中，所述方法还包括根据所述视频帧的局部内容，调整相除归一化因子，其中所述内容可以由局部复杂性度量计算为局部对比度，局部能量，或局部信号活动。在另一个实施例中，所述方法还包括在空间上使各个TU适应基于结构相似度的相除归一化因子计算，其可以为在空间中可变大小的块。