[发明专利]基于局部评估和全局优化的注视点检测方法

说明书

本发明属于计算机视觉领域，基于局部评估和全局优化的注视点检测方法。利用边缘密度算法提取图像中可能的候选目标；然后利用监督学习的方法对这些目标局部评估，两种评估方式：(1)用整个数据库的图像训练SVM对每个proposals的显著性打分；(2)利用半耦合字典学习算法，针对不同的图像重构出不同的SVM，为这张图像的proposals进行有针对性的打分；经过局部评估后，利用proposal子集优化算法将proposals聚类。最后进行全局优化。本发明针对不同引起人眼注意的信息特点，设计出能够捕捉这些信息的模型，能够有效的检测包含语义信息的图像、包含物体的图像、复杂或不包含物体的图像中的人眼注视区域。

技术领域

本发明属于计算机视觉领域，涉及到图像处理相关知识，特别涉及到注视点检测方法。

背景技术

注视点检测作为显著性检测的一个分支，在图像分割、图像压缩、目标识别等领域有广泛的应用前景。近年来，眼动点检测领域涌现出许多新颖的算法，对于部分数据库检测效果已经达到较好水平，但是仍有很多关键问题没有解决。下文对眼动点检测的经典算法进行分析，总结目前的发展现状。

Itti等人在论文“A model of saliency-based visual attention for rapidscene analysis，1998”中提出了最早的注视点预测算法。他们提取图像的颜色，亮度，方向三种特征，采用中心—周围对比的方法，计算出各个像素的显著度。并通过构建高斯金字塔提取图像多尺度信息，以兼顾图像全局对比信息。最终通过对多个特征图融合得到结果。在Itti模型的基础上，研究人员提出了很多预测视觉注视点的改进。但都是基于同一模型框架的，即首先将输入图像分解为多类视觉特征通道，然后对每类视觉通道单独进行显著性度量生成特征显著图，最后结合多类特征显著图来生成最终的一个显著图。这些方法同Itti模型的不同之处在于，论文“Predicting human gaze using low-level saliencycombined with face detection，2008”选用了不同种类的视觉特征，论文“Predictinghuman gaze using low-level saliency combined with face detection，2008”采用了不同的显著性度量方式。论文“Saliency estimation using a non-parametric low-level vision model，2011”使用了不同的特征图融合方式。

除了上述自底向上的注视点检测模型，还有一类自顶而下模型。自顶而下模型是任务驱动的，一般采用训练学习的方法，因此需要人工标注的真值数据，以及必要的先验信息。这类模型大多用于解决眼动点检测中的语意信息问题，早期的方法“Learning topredict where humans look，2009”中语意信息由各种目标检测器构成，包括汽车，行人，人脸等等。而后随着深度学习的发展，出现了多种利用卷积神经网络(CNN)特征或者利用CNN进行端到端检测的方法。Kümmerer M发表的“Boosting saliency prediction withfeature maps trained on imagenet，2014”中，使用深度特征与传统特征相融合以得到更好的检测效果。Pan J的“End-to-end convolutional network for saliencyprediction，2015”利用深度学习框架进行端到端的检测。这些方法大多取得了良好的效果，是注视点预测发展的方向。

发明内容

本发明要解决的技术问题是：在图像中含有一个或多个显著目标的情况、图像中存在人脸、文字等语义信息的情况、在图像中不存在显著物体或图像场景十分复杂等情况下对人眼注视点进行准确的预测。

本发明的技术方案：

基于局部评估和全局优化的注视点检测方法，概括如下：