[发明专利]基于机器学习的视频转码方法及其转码器

说明书

本发明从H.264/AVC与HEVC标准间的差异入手，公开了一种快速帧间转码算法。详细分析了两标准在帧间预测编码的分块结构上的差异，在此基础上发明设计一种利用树增强贝叶斯分类器进行HEVC中CU深度预测方案。利用H.264/AVC解码端帧间预测的块尺寸、MV等信息，来确定HEVC编码端中CU和PU预测模式，从而节省了转码中帧间模式判决的计算复杂度。本发明公开的转码方法，在比特率和视频质量损失非常小的情况下，较大幅度地降低了编码的计算复杂度。

技术领域

本发明涉及图像通信领域中的视频转码技术问题，尤其是涉及一种高性能视频转码帧间模式判定方法。

背景技术

近年来，随着视频业务的飞速发展，人们对观看高清视频的需求也越来越高。目前主流的视频压缩编码标准H.264/AVC/AVC已经不能适应高数据量下的高清视频传输。在这种趋势下，ISO/IEC和ITU-T联合制定了目前最新的国际视频编码标准(HEVC)，该标准的压缩率相比H.264/AVC/AVC提升了一倍左右，尤其对高清视频有很好的压缩效果，但也由此带来了计算复杂度的提高。因此，如何在保证视频编码质量的同时降低编码的计算复杂度成为了视频编码领域研究的热点。

相对于H.264/AVC/AVC，HEVC在编码方法上有较大的不同，主要体现在以下几个方面：(1)采用了更加灵活的编码结构来提高编码效率，它包括编码单元CU、预测单元PU和变换单元TU，同时将H.264/AVC/AVC中宏块的大小从16×16扩展到了64×64，以便于更好的进行高分辨率视频的压缩；(2)采用了更多的帧内预测方向，最多可达35种预测方向，更广范围的PU尺寸和更多的PU帧内预测方向使得 HEVC帧内预测比H.264/AVC/AVC有了更高的编码效率；(3)采用了更多的帧间预测模式，包含了对称PU模式和非对称PU模式，使得HEVC有了更加精确的块匹配； (4)采用了更多尺寸和类型的正交变换，采样点自适应偏移(SAO)，自适应环路滤波(ALF)和并行化设计等技术。

随着HEVC的制定，标准间转码研究的方向逐渐转移到以往的视频编码标准到HEVC标准的转码。Shen Tong等提出直接在H.264/AVC/AVC中的对应模式和其邻近的四个模式中选择出最佳帧内预测模式。Zhang Dong等提出利用基于率失真优化模型的功率谱及输入的残差、预测模式和运动矢量等信息估计CU的最佳四叉树划分、最佳PU模式以及每个PU的最佳运动矢量；对于帧内预测，提出减少CU和PU分块候选的方法，以节省编码时间。这两种方法虽然都降低了计算复杂度，但是对码率影响较大。Tamer Shannableh提出一种基于内容建模的MPEG-2到HEVC的视频转码方法，引入基于内容的机器学习方法预测HEVC编码单元的深度。Eduardo Peixoto 提出基于动态阈值和内容建模的H.264/AVC/AVC到HEVC的视频转码器，视频序列的前些帧的编码参数用来训练转码器学习特定视频的映射，之后，Eduardo Peixoto提出两种模式映射算法，一种是使用动态阈值法，用H.264/AVC/AVC的编码参数决定 HEVC编码的分块模式；另一种是使用线性判决函数映射H.264/AVC/AVC的编码参数到HEVC的分块模式。这两种方法要达到好的转码效果，都需要大量的训练。PeiyinXing针对监控视频提出一种基于背景模型分类器的转码方法，该方法节省了50％的计算复杂度，但是应用范围比较单一。

发明内容

针对新一代视频压缩编码标准HEVC计算复杂度较高的特点，本发明利用不同编码标准间的编码模式和运动估计的相关性，提出了一种基于机器学习的高性能视频帧间编码方法，减少帧间预测编码的次数，从而有效地降低了编码端的计算复杂度。

本发明的基本思想是利用不同编码标准间的编码模式的相关性，利用 H.264/AVC/AVC标准中的编码信息和HEVC标准中的编码信息做为提取数据，利用此提取数据进行机器学习。并利用机器学习结果来快速确定CU的划分模式，从而减少预测编码的遍历深度以及冗余的RDCost递归计算。进而达到减少计算复杂度的目的。