[发明专利]基于深度信息的图像显著性度量方法

说明书

本发明公开了一种基于深度信息的图像显著性度量方法，在GBVS显著数值度量的基础上，引入图像像素点的深度信息，进而构建更均衡更全面的图像显著性度量。本发明所公开的度量方法，充分考虑聚焦良好的像素点较为清晰和显著、聚焦不良的像素点较为模糊的情况，图像上一些亮度或者对比度较高但离焦严重的像素点，其显著性度量也将较小。本发明技术解决方案简单，鲁棒性高，实用性强，能够较好地表征图像像素点的显著和清晰程度，应用范围较广。

技术领域

本发明涉及图像显著性度量方法，具体是一种基于深度信息的图像显著性度量方法。

背景技术

图像的显著性度量是图像处理中的一个问题，其解决的核心问题是在图像处理过程中应该多关注或者少关注哪些区域、哪些像素点。显著性度量是与人类的视觉注意力机制高度匹配的。视觉注意力机制是其中一种重要的视觉感知特性，在上个世纪便引起了许多图像研究学者的研究和关注。即使面对一张复杂紊乱甚至毫无规律的图像，人类也总是能够通过主动选择的心理活动快速定位图像中的重要部分，而对其他不重要的区域通常只进行非常粗略的估计甚至完全忽略。这样的机制能够减少人脑接收的视觉信息的数量，进而提高人脑的处理效率。图像显著性度量正是利用了人眼的视觉注意力机制。通过图像的显著性评估，可以将图像中一些关键信息区域标记为显著性区域或者感兴趣区域，对这些区域进行着重的处理。图像显著性度量在图像压缩、图像编码、图像增强等领域都施展拳脚，发挥着不可替代的作用。

目前，显著性度量模型可以主要分成三类：自下而上的显著性度量，如ltti算法等；自上而下的显著性度量，如AC算法、SR算法等；结合自下而上和自上而下的算法，如GBVS算法。这些方法虽然能够在较为复杂的背景中捕捉物体的轮廓，但是对图像的前后景信息不敏感，会将离焦区域中对比度较高的部分错误地判断为显著的区域。因此，图像中的实际重要信息可能会被掩盖，无法得到充分的关注。

发明内容

本方法的目的在于克服上述显著性度量方法的不足，提出一种稳定性更强的基于深度信息的图像显著性度量方法。

本发明原理如下：

(1)GBVS显著性评估

Joonathan Harel提出了一种基于图谱计算的自下而上的显著性评估算法：Graph-Based Visual Saliency，GBVS。这个算法包括特征向量提取、激活图生成、激活图标准化三个主要步骤。

在特征向量提取中，GBVS采用了类似ltti算法的生物启发的滤波器来模拟生物体的视觉系统。

激活图生成是通过在不同的维度减去特征向量图实现的，并引入马尔科夫链，对不同的图分别计算不相似度和显著性来定义图的边的权重作为马尔科夫链，将在图上各个位置的均衡分布视为激活图的数值。GBVS并不关心特征向量之间的联系和相似。

传统的激活图标准化主要包括如下的几类方法：基于局部最大值的标准化；采用高斯差分滤波器的卷积迭代；通过附近的激活数值的加权平均来分割局部特征值的非线性过程。GBVS另辟蹊径，关注激活图中的混乱数值，混乱的程度可以通过马尔科夫链进行定义，并实现混乱的流动和传导。

(2)聚焦深度估计

对于图像的聚焦深度，本发明方法采用一种基于高斯梯度的模糊估计方法进行估算。这种方法对强噪声、边缘模糊、边缘交叉等复杂场景均具有一定的鲁棒性。图1给出了薄透镜的聚焦和离焦示例。用d(r)表示焦平面到图像像素点r对应的物体的距离。当物体放置在焦平面处(距离为d_F)时，从物体出发的所有辐射都会汇集到单个传感点上，图像像素观感强烈突出。从距离为d(r)＝d+d_F的物体发出的辐射会对用图像上的多个像素点从而造成模糊的区域。模糊的圆区直径s(r)可以如下的表达式计算：

其中F₀和N分别对应焦距和光圈数。