[发明专利]基于无监督学习的多视角显著性估计方法

说明书

本发明涉及一种基于无监督学习的多视角显著性估计方法，属于视频图像处理领域。首先进行单视角背景建模，采用深层自动编码器对单视角背景进行学习，计算单视角显著性图；然后联合视角背景建模，对联合视角背景进行学习，计算联合视角显著性图；最后对单视角显著性图和联合视角显著性图进行多尺度显著性图融合。本发明方法仅需要采样场景无标记图像块来进行学习，结合了单视角与多视角下的显著性计算，可以更好的针对背景进行学习，减少背景的干扰，得到比基于显著性区域学习算法更高的预测精度。

技术领域

本发明属于视频图像处理领域，涉及一种视频或图像多视角显著性估计算法，具体涉及一种基于无监督学习的多视角显著性估计方法。

背景技术

显著性估计的本质在于预测输入图像或视频对应的显著性图来说明场景中各个区域被人们关注的概率。显著性估计是一个多学科交叉的研究领域，对于计算机视觉、神经科学、认知心理学、生物学等领域及学科都具有重要的研究意义。首先，视觉显著性估计是计算机视觉和人工智能领域的核心问题之一。将视觉显著性机制引入到计算机视觉等领域的模型算法中，能够使得现有算法更有效地筛选信息与分配计算资源，提高算法效率。其次，视觉显著性估计是人脑的基本功能之一，具有神经生理学的基础。对其研究可以为探索人脑工作机理的本质提供启发，同样对发展神经科学等方面起着重要作用。另外，视觉显著性估计起源于认知心理学，构建显著性计算模型可以更好地探索认知心理学中某些重要问题。

基于显著性估计的重要性，过去二十年中大量关于显著性的研究被提出，来探索显著性的生物性本质或计算模型与框架。在目前的研究中，绝大多数工作都集中于单一视角下的显著性计算，即给出一幅图像或一个视频的显著性估计结果。近年来，随着相机与监控设备的普及，多视角应用需求日益增加，也反过来激发了对于多视角显著性的研究意义，使得估计多视角显著性成为一个重要待解决问题。

尽管常规显著性估计方法可以分别预测各个单一视角下的人们感兴趣区域，但是却忽略了不同视角下场景间的竞争关系，例如来自一个视角的着火点(仅仅是具有明亮颜色的背景区域)可能比来自另一个视角的行人(高层语义区域)要重要得多。同时实际中研究的多视角场景通常包含多个传感器数量与更复杂的视角变换关系，显著性计算也更具挑战性。

现有研究中除了针对单一视角下的视觉显著性研究，也出现了多视角显著性估计算法。Fang等人(Y.Fang,J.Wang,M.Narwaria,P.Le Callet,and W.Lin,“Saliencydetection for stereoscopic images,”IEEE Trans.Image Process.,vol.23,no.6,pp.2625-2636,Jun.2014.)提出一个针对双目左右视图的显著性估计算法，他们构建了一个针对显著性图的紧凑性度量来自适应地整合多个二维特征与深度特征。基于同样的特征整合模式，他们还提出一个针对立体视频的显著性估计算法(Y.Fang,C.Zhang,J.Li,J.Lei,M.P.Da Silva,and P.Le Callet,“Visual attention modeling forstereoscopic video:a benchmark and computational model,”IEEE Trans.ImageProcess.,vol.26,no.10,pp.4684-4696,Jun.2017.)。然而基于左右视图的显著性估计通常基于视觉源紧密放置的假设。此外，该显著性估计模型通常聚焦于两个视角下的计算。