[发明专利]一种适用于视频编码的图像显著性快速检测方法和装置

说明书

本发明公开了一种适用于视频编码的图像显著性快速检测方法和装置，方法包括对YUV格式的视频帧图像，将亮度分量Y缩放并对整体图像做DCT变换，对变换系数取符号函数得到图像签名描述子后对其做逆DCT变换得到图像全局显著性；分别以亮度分量Y不重叠的预定图像块和色度分量UV的相应图像块为单位进行DCT变换，分别提取Y分量和UV分量各自的直流系数即强度特征和部分交流系数即纹理特征，使用对比度测量并融合后得到图像局部显著性；融合图像全局显著性和图像局部显著性得到最终显著性。本发明利用DCT变换来提取编码帧图像的特征，考虑了人眼观察图像的全局显著性和局部显著性，显著性计算准确且高效，适合用于视频编码前的检测以指导编码资源的优化分配。

技术领域

本发明涉及一种适用于视频编码的图像显著性快速检测方法和装置，属于视频编码特别是视频编码资源优化分配技术领域。

背景技术

显著性检测是近年来图像处理领域的热点课题，可以自动提取视频图像中人眼感兴趣的区域，在图像与视频分析的很多领域(比如图像分割、目标检测、场景解析等)都有重要的应用。不仅如此，显著性在视频编码端用以指导编码失真的准确测量和编码资源的优化分配方面也显示出了极大的潜力，值得进一步研究探索。但目前大多数显著性检测方法都是面向视频分析类的应用，通过提取描述像素块的颜色和纹理特征，再利用对比度的方法完成检测。经典的分块方法比如基于规则方块或超像素(Superpixel)分割，提取的颜色特征比如颜色直方图，提取的纹理特征比如局部二值模式(LBP)特征等。这类面向视频分析的显著性检测方法在分块规则、颜色与纹理特征的提取、对比度测量等方面具有计算复杂度高且检测时间较长的问题，不适合用于对实时性要求较高的视频编码场合。

由于显著性检测在视频编码领域巨大的应用前景，截止目前，已有少数文献将显著性检测用于视频编码中的码率分配。比如2012年胡瑞敏等人获得授权的发明专利：一种基于视觉显著度模型的视频编码码率控制方法(CN102164281B)，该发明专利利用Itti等人在2003年提出的显著度模型提取当前帧的显著区域进行帧层和宏块层的目标码率分配，提高了H.264视频编码的主观质量。2018年沈礼权等人获得授权的发明专利：基于感兴趣区域的HEVC码率控制方法(CN105049850B)，该发明专利利用Harel等人在2006年提出的基于图的视觉显著模型(GBVS)检测当前帧的显著性并结合运动矢量进行编码单元层的目标码率分配，提高了HEVC编码的主观质量。但这些显著性检测方法都存在计算复杂且实时性不高的问题，且检测出的显著性与编码单元不完全匹配。

发明内容

本发明的目的在于提供一种适用于视频编码的图像显著性快速检测方法和装置，以解决现有技术中至少一个方面的不足。

为实现上述技术目的，本发明采用以下技术方案：

一种适用于视频编码的图像显著性快速检测方法，包括以下步骤：

S1：读入以YUV格式存储的待编码的视频帧图像，将亮度分量Y按照预设条件缩放至预设大小并对整体图像做DCT变换；

S2：对DCT变换系数取符号函数得到图像签名描述子，对图像签名描述子做逆DCT变换并进行高斯平滑滤波，得到缩放后图像的全局显著性并将其缩放至原始图像大小得到图像全局显著性；

S3：对原始图像的亮度分量Y以预定图像块为单位进行DCT变换，对原始图像的色度分量UV以相应图像块为单位进行DCT变换，分别提取亮度Y分量和色度UV分量各自的直流系数和选定的交流系数作为亮度与色度的强度特征和纹理特征；

S4：使用局部对比度方法计算亮度与色度分别基于强度特征和纹理特征的局部显著性，对基于强度特征和纹理特征的局部显著性按空间方差自适应融合得到图像局部显著性；

S5：以指数关系融合图像全局显著性和图像局部显著性，经高斯平滑滤波得到当前编码帧图像的最终显著性。

在另一方面，本发明提供了一种适用于视频编码的图像显著性快速检测装置，其特征在于，包括：