[发明专利]一种融合视觉感知特征的可分层视频编码方法

说明书

技术领域

本发明涉及视频编码方法，尤其涉及一种融合视觉感知特征的可分层视频编码方法。

背景技术

随着多媒体信息处理和通信技术的飞速发展，IPTV、PDA、立体电影、自由视点视频等多样化视频业务相继推出，视频编码在信息化处理以及相关领域展现了广阔的发展前景。然而，在网络带宽和存储空间受限的同时，人们对视频质量的要求却在不断提高、数字视频的性能指标，如分辨率、质量、帧率等不断提升，对现有的视频编码标准提出了新要求。

为了获得具有低复杂度、高质量和高压缩率的视频编码方法，继2003年由国际电信联盟ITU-T和国际标准化组织ISO/IEC联合推出视频压缩标准H.264/AVC后，2010年1月，ISO/IEC和ITU-T联合成立了JCT-VC(Joint Collaborative Team on Video Coding)小组，并且发布了下一代视频编码技术提案HEVC(High Efficiency Video Coding)。提案指出，HEVC依然沿用H.264/AVC的混合编码框架，着力研究新的编码技术，旨在解决现有视频编码标准在压缩率与编码复杂度之间的矛盾，使之适应多类型的网络传输，承载更多的信息处理业务。具有“实时性”、“高压缩率”和“高清晰度”的视频编码标准及其应用技术，已成为信号与信息处理领域的研究热点之一。

截至目前，众多学者围绕视频快速编码或者视觉感知分析开展了大量研究工作，但是很少将二者结合在一个编码框架内联合实现对视频编码性能的优化。

在视觉感知特征分析方面，有的研究人员采用颜色、亮度、方向和肤色四种视觉特征进行感兴趣区域计算，但忽略了运动视觉特征；有的研究人员融合了运动、亮度强度、人脸和文字等视觉特征，构建视觉注意模型实现感兴趣提取；也有的研究人员采用运动和纹理信息获取感兴趣区域；或者有人提出在压缩域或者基于小波变换的方法获得感兴趣区域。由于现有的全局运动估计算法复杂度都较大，因此视觉感兴趣区域提取算法复杂度过高。上述基于人类视觉系统HVS(Human Visual System)的视频编码技术集中研究了比特资源优化分配的方法，在比特资源受限时保证感兴趣区域的视频图像质量，但欠缺对计算资源分配问题的考虑，并且对进行视觉感知分析时引入的额外计算复杂度，也没有引起足够的关注，其计算效率有待提高。

在快速视频编码方面，有的研究人员通过控制运动估计点数、以损失率失真性能为代价，实现快速编码；有的研究人员通过进行编码参数控制实现快速编码。但上述方法并不区分视频图像中不同区域在视觉意义上的重要程度，对所有编码内容采用相同的快速编码方案，忽略了HVS对视频场景感知的差异性。

发明内容

本发明针对上述问题，提出一种融合视觉感知特征的可分层视频编码方法，包括视觉感兴趣区域优先级的设定以及视频编码资源分配方案的设定两部分；

所述视觉感兴趣区域优先级的设定主要为：鉴于视频图像内容的丰富性和人眼视觉选择性注意机制，视频内容通常同时具有时域和空域双重视觉特征，标注视觉特征显著度区域的计算公式可表示为：

式中，ROI(x，y)代表当前编码宏块视觉感兴趣优先级；T(x，y，MV)代表当前编码宏块的时域视觉特征显著度；S(x，y，Mode)代表当前编码宏块的空域视觉特征显著度；(x，y)表示当前编码宏块的位置坐标；

所述视频编码资源分配方案的设定表现为：为在保证视频编码质量和压缩效率的同时，改善视频编码实时性能，首先满足感兴趣区域宏块的编码最优化，

采用快速帧内预测算法，利用宏块灰度直方图描述宏块平坦程度，依据宏块平坦度自适应地选取可能的帧内预测模式集合；

采用快速帧间预测算法，通过分析各种帧间预测模式出现概率的统计特性，对特定模式进行预判以提前终止不必要的帧间预测模式搜索和率失真代价计算，减少编码耗时；

采用快速运动估计搜索算法，基于编码块运动矢量相关性，依据编码块运动程度，判定搜索层次，实现高效搜索。

所述视觉感兴趣区域优先级的设定中，首先，进行时域视觉显著度区域标注：具体分为两个步骤：步骤1运动矢量噪声检测和步骤2平移运动矢量检测，分别用于削弱由于运动矢量噪声和摄像机运动而产生的平移运动矢量对于时域视觉显著度区域检测准确性的影响，完成前景与背景的分离，得到较为准则的、符合人眼视觉特征的时域视觉显著度区域标注结果；然后，进行空域视觉显著度区域标；最后，依据时域、空域视觉特征显著度区域标注结果，完成视觉特征显著度区域的标注。