[发明专利]一种基于标签语义的显著对象提取方法

说明书

本发明提供一种基于标签语义的显著对象提取方法，包括以下步骤：进行训练，进行测试，得到最终的显著图，所述训练包括以下子步骤，输入训练集，对图像I进行超像素分割。本发明首先挑出标签中的对象标签，通过对象标签对应的对象检测子进行检测，得到基于标签语义的显著性特征，并将标签语义信息和基于外观的显著性特征融合起来进行显著对象的检测。由于标签语义信息是高级语义信息，更能改善传统的显著对象检测方法。

技术领域

本发明涉及数字图像处理的技术领域，特别是一种基于标签语义的显著对象提取方法。

背景技术

标签的语义虽然在图像标注领域已经得到了广泛应用，但是，标签信息通常和显著对象提取任务是分开处理的，应用在显著对象提取上的工作并不多。

文献[Wen Wang,Congyan Lang,Songhe Feng.Contextualizing Tag Rankingand Saliency Detection for Social Images.Advances in Multimedia ModelingLecture Notes in Computer Science Volume 7733,2013,pp 428-435.]和文献[Zhu,G.,Wang,Q.,Yuan,Y.Tag-saliency:Combining bottom-up and top-down information forsaliency detection.Computer Vision and Image Understanding,2014,118(1):40-49.]，这两篇论文里面均用到了标签语义信息。

文献[Wen Wang,Congyan Lang,Songhe Feng.Contextualizing Tag Rankingand Saliency Detection for Social Images.Advances in Multimedia ModelingLecture Notes in Computer Science Volume 7733,2013,pp 428-435.]将标签排序任务和显著性检测任务整合在一起，迭代地进行标签排序和显著性检测任务。

文献[Zhu,G.,Wang,Q.,Yuan,Y.Tag-saliency:Combining bottom-up and top-down information for saliency detection.Computer Vision and ImageUnderstanding,2014,118(1):40-49.]提出Tag-Saliency模型，通过基于层次的过分割和自动标注技术进行多媒体数据的标注。

这两篇文献的共同缺点是显著性标注的效果依赖于区域标注，依靠多示例学习的方法不容易泛化；而且，这两篇文献均没有考虑到标签之间的上下文关系。我们的工作所要解决的主要问题是采用新的标签特征表示方法，并考虑标签之间的上下文关系，并与图像的低级特征进行融合，提高显著对象的提取效果。

发明内容

为了解决上述的技术问题，本发明提出高级语义标签和底层外观特征融合的显著对象提取方法。首先对图像进行超像素分割；提取每个超像素的外观特征，进行基于外观特征的显著性计算；找出标签中的对象标签，通过对象标签对应的对象检测子进行检测，进行标签语义的显著性计算；最后通过CRF模型并将标签语义信息和基于外观的显著性特征融合起来，得到最终的显著图。由于标签语义信息是高级语义信息，所以本发明更能改善传统的显著对象检测方法。

本发明提供一种基于标签语义的显著对象提取方法，包括以下步骤：

步骤1：进行训练；

所述训练包括以下子步骤：

步骤11：输入训练集；

步骤12：对图像I进行超像素分割；

步骤2：进行测试；