[发明专利]一种社群图像的显著区域提取方法及系统

说明书

本发明提供一种社群图像的显著区域提取方法及系统，其中方法包括准备训练图像集，所述测试过程包括以下步骤：对所述训练图像集中的图像进行基于外观的显著性计算；对所述训练图像集中的每幅图像带有的对象标签进行对应的对象标签的语义特征计算；求解显著性特征的融合系数；提取测试图的显著性特征，并计算显著图。本发明提出的社群图像的显著区域提取方法及系统，在训练阶段，计算基于图像外观的显著性特征，与计算得到的对象标签语义特征进行融合，求解融合参数。在测试阶段，通过训练得到的融合参数对图像外观的显著性特征和标签语义特征进行融合，得到最终的显著图。

技术领域

本发明涉及图像处理的技术领域，具体地说是一种社群图像的显著区域提取方法及系统。

背景技术

注意属于人类的认知过程，是心理学概念，是视觉感知的重要组成部分。通过计算机模拟注意力机制的显著性检测涉及心理学、神经科学、生物视觉和计算机视觉等相关领域，是多学科交叉的研究领域。传统的显著性检测方法通常会使用多种显著性线索或先验信息，例如局部或全局对比度，边界先验。这些方法由于使用低级的人工设计特征和模型，不能识别和理解图像中的语义对象概念。近来，深度卷积神经网络已经在视觉模式识别方法取得了令人瞩目的成绩，已经越来越多的应用于显著区域的检测。只要提供足够的训练数据，深度卷积神经网络能够较准确的识别复杂图像中的显著对象，性能超过大多数的传统的基于人工设计特征的方法，取得了很好的检测效果。

随着网络和社交平台的迅猛发展，涌现了大量的社交图片，而且带有标签信息。标签的语义虽然在图像标注领域已经得到了广泛应用，但是，应用在显著对象提取上的工作并不多。文献[Wen Wang,Congyan Lang,Songhe Feng.Contextualizing Tag Ranking andSaliency Detection for Social Images.Advances in Multimedia Modeling LectureNotes in Computer Science Volume 7733,2013,pp 428-435.]将标签排序任务和显著性检测任务整合在一起，迭代地进行标签排序和显著性检测任务。文献[Zhu,G.,Wang,Q.,Yuan,Y.Tag-saliency:Combining bottom-up and top-down information for saliencydetection.Computer Vision and Image Understanding,2014,118(1):40-49.]提出Tag-Saliency模型，通过基于层次的过分割和自动标注技术进行多媒体数据的标注。这两篇文献的共同缺点是显著性标注的效果依赖于区域标注，标签信息都是和显著区域的提取任务分开处理的。

2021年的《智能系统学报》公开了梁晔和于剑的题目为《面向社群图像的显著区域检测方法》，关注社群图像的显著区域检测问题，提出基于深度特征的显著区域检测方法。针对社群图像带有标签的特点，在系统框架中，本文采取两条提取线，基于CNN特征的显著性计算和基于标签的语义计算，二者的结果进行融合。最后，通过全连接的条件随机场模型对融合的显著图进行空间一致性优化。该方法的缺点是没有将图像外观特征和标签语义特征处理为一个整体特征，在训练时较为繁琐。

发明内容

为了解决上述的技术问题，本发明提出的社群图像的显著区域提取方法及系统，在训练阶段，对训练图像提取外观特征，计算基于图像外观的显著性特征；通过图像带有的对象标签对应的对象检测子进行对象检测，计算对象标签语义特征；对象标签语义特征可以看作一种先验特征，与基于外观的显著性特征进行融合，对显著性特征的融合问题进行建模，求解融合参数。在测试阶段，对测试图像提取外观特征，计算基于图像外观的显著性特征；通过图像带有的对象标签对应的对象检测子进行对象检测，计算对象标签语义特征；最后通过训练得到的融合参数对图像外观的显著性特征和标签语义特征进行融合，得到最终的显著图。

本发明的第一目的是提供一种社群图像的显著区域提取方法，包括准备训练图像集，还包括以下步骤：