[发明专利]弱监督学习引导的协同显著性检测方法

说明书

本发明提出了一种弱监督学习引导的协同显著性检测方法，用以解决现有协同显著性检测方法易受到不相关的显著目标的干扰的技术问题。本发明的步骤为：搭建GCAM网络的架构；搭建主干网络的架构，通过GCAM网络和主干网络构建GWSCoSal模型；利用训练数据对GCAM网络以图像组的公共类别标签作为真值进行弱监督训练；利用训练数据对主干网络进行像素级训练；GCAM网络的弱监督训练和主干网络的像素级训练联合执行，得到训练后的优化GWSCoSal模型。利用优化GWSCoSal模型对协同显著性数据集进行预测，生成预测的协同显著图。本发明在受到相似非公共显著目标干扰的情况下，能够更准确地检测出协同显著目标，操作简单，检测精度较高。

技术领域

本发明涉及协同显著性检测的技术领域，尤其涉及一种弱监督学习引导的协同显著性检测方法。

背景技术

随着现代科技的飞速发展，社会数字化进程加速推进，人工智能在各领域快速兴起。大量的图像、视频等多媒体数据呈爆发式增长，如何利用现有的计算机技术来有效处理并获取有用信息十分重要。现有的协同显著性检测技术是一种模拟人眼注意力机制的计算机视觉技术。在图像组内，可以利用频繁出现的图形或前景区域来表示图像组的主要内容。该方法不仅能够获取图像或视频中的有效目标信息，还能滤除图像或视频中的冗余信息，降低了算法处理的复杂度，从而实现计算资源的优先分配。

协同显著性检测的目的在于从两幅或多幅相关图像中寻找公共且显著的目标，根据该定义，协同显著目标必须满足两个要求，它们必须在每幅图像中都是显著的且彼此之间具有相似性。因此，这两个要求对应以下两个任务：(1)从单幅图像中获得图内显著性信息(Intra-saliency)；(2)从多幅相关图像中挖掘图间显著性信息(Inter-saliency)。现有的协同显著性检测方法可以依据图内和图间显著性信息的不同融合方式大致分为两类：一类是非端到端的方法，该类方法通常利用手工设计的特征来直接挖掘并融合图内和图间显著性信息的线索。但是，这些手工设计的特征并不能为协同显著目标的公共属性提供强有力的表达，极大程度上限制了非端到端方法的检测性能。另一类是端到端的方法，该类方法利用深度学习的方法来挖掘图内和图间显著性信息，获取的深度特征能更好地对图像进行描述，同时，以端到端的方式将图内和图间显著性信息进行结合，有效地提高了协同显著性检测的性能。

协同显著性检测是由图内显著性信息和图间显著性信息两部分组成，目前已经有研究者提出了大量优秀的单幅图像显著性检测方法来挖掘图内显著性信息线索，因此，无论是对非端到端的方法还是端到端的方法，挖掘更优的图间显著性信息的线索是协同显著性检测的关键。到目前为止，无论是非端到端的方法还是端到端的方法都是提取图像组中每幅图像的特征，并计算其特征的相似度，然后，将其作为图间显著性信息。然而，以这种方式获得的图间显著性信息通常容易受到图像中不相关的显著目标的干扰，这些不相关的显著目标常与协同显著目标之间具有相似的外观特征。事实上，协同显著目标与不相关的显著目标之间最关键的区别在于它们属于不同的类别。因此，挖掘公共类别信息对于提取间的显著性信息至关重要。

发明内容

针对现有协同显著性检测方法易受到不相关的显著目标的干扰的技术问题，本发明提出一种弱监督学习引导的协同显著性检测方法，通过弱监督学习引导可以更好的提取一组相关图像的图间显著性信息，得到的协同显著性检测结果更准确。

为了达到上述目的，本发明的技术方案是这样实现的：一种弱监督学习引导的协同显著性检测方法，步骤如下：

步骤一：搭建GCAM网络的架构，将包含有公共类别显著目标的图像组输入GCAM网络，生成每幅图像的组类别激活图GCAM；

步骤二：搭建主干网络的架构，图像组中的每幅图像依次送入主干网络进行处理，主干网络提取的特征与步骤一的组类别激活图GCAM相融合，得到每幅图像的协同显著图；通过GCAM网络和主干网络构建GWSCoSal模型；

步骤三：利用训练数据对GWSCoSal模型的GCAM网络以图像组的公共类别标签作为真值进行弱监督训练；