[发明专利]基于多层信息融合的注视点检测方法

说明书

本发明属于计算机视觉领域，基于多层信息融合的注视点检测方法。由颜色等底层信息得到底层信息检测结果图。利用像素点的空间位置得到中心先验图。对原始图像提取候选目标框及其CNN深度特征，利用词袋模型编码，编码后的视觉特征送入训练好的多示例RMI‑SVM分类器中得到打分，对框中心高斯平滑后根据目标框的打分进行加权叠加得到目标级别的检测结果图。对原始图像本身提取描述图像整体内容的特征，训练softmax回归器得到融合权值，采用这个权值对上述结果图进行加权融合。本发明综合利用颜色对比度，显著目标，空间位置这三方面信息，并针对不同的图像调节各种信息占的比重，针对于包含各种内容的图像，本发明都有较好的检测率。

技术领域

本发明属于计算机视觉领域，涉及到图像处理相关知识，特别涉及注视点检测方法。

背景技术

在目前高速发展的社会中，监控摄像头在城市内随处可见，带来了一个很严重的问题就是信息过载。计算机视觉技术面临的任务就是在繁多的图像、视频文件中快速发现感兴趣的目标，所以对于注视点检测的研究是非常有意义的。注视点的成因是由于候选前景目标与场景中的背景在种特定的对比中形成了引起人眼注意的新奇刺激。图像的注视点检测是图像处理中的一个重要分支。在图像处理中，注视点检测往往是作为一种前置操作，应用于图像分割，自适应图像压缩，基于内容的图像编辑，目标检测与识别，以及图像检索等领域。利用视觉显著性对图像进行分割，从而只关注显著区域，可以很大程度上减少运算量，同时不遗漏较为重要的信息。

Itti L等人在文章“A model of saliency-based visual attention for rapidscene analysis.In PAMI,1998”中先提取原始图像的颜色亮度特征图，对亮度图像进行滤波得到方向特征图。对亮度特征、颜色特征、方向特征三幅图像分别构建高斯金字塔。每种特征经过中央—周边算子运算、归一化、叠加得到颜色、强度、方向三幅显著图。对三幅显著图进行加权叠加得到最终的显著图。此方法能处理一些有着明显的对比度的图像，但缺乏对更加能吸引人眼注意的目标的检测。

Hou X等人在文章“Saliency detection:A spectral residual approach.InCVPR,2017”中提出了SR模型，此模型的原理是一幅图像中的信息可以分为两部分：目标信息和冗余信息，人类的视觉系统可以自动过滤掉复杂环境中的冗余信息而保留目标信息。基于此原理，该算法先对图像进行二维傅立叶变换得到频域的幅度谱和相位谱。利用低通滤波器对幅度谱进行滤波操作得到冗余信息，之后去除原图像中的这部分信息就得到了显著图。SR模型的优点是运算速度较快，且结果对参数不敏感。但该算法存在一些缺点，如对噪声敏感，而且仅能处理灰度图像等。

Liang M等人在文章“Predicting eye fixations with higher-level visualfeatures.In TIP,2015”中提出了一种利用更高层信息的注视点检测模型。利用图像的sift特征结合BOW模型计算颜色和形状显著图。利用object bank目标检测器获得多张map训练SVM加权叠加高层信息显著图。此模型虽然提出了用目标检测来辅助注视点检测的思路，但是所采用的目标检测器检测效果非常有限，对注视点检测结果帮助不大。

发明内容

本发明要解决的技术问题是：自然场景中的图像多种多样，采用单一特征信息的检测方法无法取得较好的检测效果，例如：图像中有颜色对比度比较突出的区域，这样利用底层的颜色特征信息就可以很好地检测。若图像中有一些能吸引人眼注意的目标如人脸文字等，则高层的目标级别的特征信息更加有效。若图像颜色对比度不明显，又没有吸引人的目标，也就是说图像内容比较均匀单一，这样人眼往往会看向图像的中心，这样空间位置信息又会起主导作用。本发明提出了一种检测方法综合利用这三种信息，并针对不同的图像调节各种信息占的比重。