[发明专利]基于卷积神经网络的区域和像素级融合的显著性检测方法

摘要

本发明公开了一种基于卷积神经网络的区域和像素级融合的显著性检测方法，该方法研究的对象是静态图像，其中图像的内容可以是任意的，研究的目标是从图像中找出吸引人眼注意力的目标，并为其赋予不同的显著性值。本发明主要提出了一种自适应的区域生成技术，并设计了两个CNN网络结构，分别用于像素级显著性预测和显著性融合。这两个CNN网络模型以图像作为输入，以图像的真实结果作为监督信号用于网络模型的训练，并最终输出与输入图像大小一致的显著性图。本发明能有效地进行区域级显著性估计和像素级显著性预测，得到两个显著性图，最后使用进行显著性融合的CNN将两个显著性图及原始图像进行融合得到最终的显著性图。

主权项

1.一种基于卷积神经网络的区域和像素级融合的显著性检测方法，其特征在于所述方法步骤如下：步骤一、区域级显著性估计第一步、采用自适应的区域生成技术对输入图像I进行分割（1）使用SLIC算法对输入图像I进行超像素分割，得到n个超像素；（2）从每个超像素中提取一个简单的特征向量，用来表征该超像素的特性；（3）使用一个基于图的合并聚类算法对超像素进行聚类得到不同的区域；第二步、使用Clarifai网络模型进行区域显著性估计（1）从每个区域的中心线周围随机选取m个超像素；（2）设置m个超像素的中心作为窗口的中心构建m个窗口，且这些窗口包含整个图像；（3）将构造的m个窗口图像经过CNN模型，得到m个显著性值；（4）计算m个显著性值的均值并将其作为该区域的显著性值；步骤二、像素级显著性预测（1）以模型VGGNet作为预训练模型，将VGGNet中的最后一个模块移除，对第四和第五模块的输出进行去卷积操作，并在特征通道方向将它们进行拼接，用于多尺度特征学习；然后采用大小为1* 1的卷积核对拼接后的特征图进行卷积得到一个概率图；（2）在像素级CNN模型训练阶段，使用叉熵损失函数计算概率图和真实结果图之间的误差，并将误差进行回传以便更新像素级CNN模型参数；（3）像素级CNN模型训练完之后，将输入图像I直接输入到像素级CNN模型中预测其对应的像素级显著性图；步骤三、显著性融合（1）构建融合CNN网络结构：CNN网络结构包含一个拼接层、三个卷积层和一个损失层；（2）将输入图像I和步骤一、二的两个显著性图拼接成一个5通道的图像，然后将其送入三个卷积层；（3）在融合CNN网络训练阶段，使用损失层中的叉熵损失函数计算最后一个卷积层的输出与真实显著性图之间的误差，并将误差进行回传以便更新融合CNN模型参数；（4）测试时，将输入图像I直接输入到训练好的融合CNN模型中，该模型最后一个卷积层的输出即为最终预测的显著性图。