[发明专利]一种基于互补标签融合监督学习的图像显著性检测方法

权利要求书

1.一种基于互补标签融合监督学习的图像显著性检测方法，包括以下步骤：

步骤S1、将标签图像分别得到对应的主体标签图和细节标签图；

步骤S2、对训练数据集图像做随机裁剪、随机旋转、归一化、灰度化处理以增强样本的多样性；

步骤S3、输入一个尺寸为H×W的图像，使用ResNet50框架预先处理获取到网络的第2至5层输出特征图；

H、W分别为图像的高度和宽度；

步骤S4、对通过ResNet50框架得到的四层输出特征图分别做两次卷积操作，进行编码；

步骤S5、分别将主体图编码后的特征和细节图编码后的特征分别传入主体图解码器和细节图解码器进行解码。并利用两个解码器获得的主体特征和细节特征发挥双重效果，一方面将二者相加得到预测图，另一方面将二者分别传入各自的图像解码器以丰富特征；

步骤S6、将两个解码器所得到的主体特征和细节特征进行相加融合，再进行两次卷积和池化操作，得到预测的图像。

2.如权利要求1所述的一种基于互补标签融合监督学习的图像显著性检测方法，其特征在于步骤S1：利用距离变换算法对输入的图像分解成主体图和细节图，具体包括：

S11.输入一个标签图像，显著目标为白色部分，背景为黑色部分，尺寸无要求，令背景部分像素值为0，前景部分像素值为1；

S12.对图像进行尺寸为5×5的图像均值滤波处理；

S13.计算前景像素点到背景像素点的距离，并求出最小距离；计算公式如下：

其中，f(p,q)是像素p到像素q的距离，x、y是像素p、q所在图像的下标；

S14.对每个前景像素到背景像素的距离取最小值，背景像素的I′(p)设置为0，具体表达式如下：

其中，I′(p)像素p距离最近的背景像素的距离，I_fg表示前景像素集合，I_bg表示背景像素集合；

S15.由于经过距离转换函数后，像素值I′(p)不再等于0或1，使用线性函数归一化，将其值落在[0,1]上，函数如下：

其中，min(I′)表示像素距离最小值，max(I′)表示像素距离最大值；

最后生成主体图与细节图。

3.如权利要求1所述的一种基于互补标签融合监督学习的图像显著性检测方法，其特征在于：步骤S4具体包括：将步骤S3得到的F进行编码，F_i表示第i层特征输出，特征数量为将2，3，4，5层特征值进行编码，具体操作如下：

分别对第2至5层的输出特征做一次1×1卷积运算，再进行一次3×3卷积运算，以得到编码特征图，并分别传送至主体图解码器和细节图解码器，第2层输出作为第3块解码器的输入，第3层输出作为第2块解码器的输入，第4、5层输出作为第1块解码器的输入。

4.如权利要求1所述的一种基于互补标签融合监督学习的图像显著性检测方法，其特征在于：步骤S5具体包括：每个分支包括3个解码器，将输入的特征进行解码，每个主体图解码器和细节图解码器分别将输入的三个特征叠加起来并做一次卷积核为3×3的卷积操作具体步骤如下：

S51.对于每个解码模块，需要将三个输入特征图进行相加，三个输入源分别是来自编码器对应的特征输出层、来自上一层的解码模块的输出、以及来自特征交互模块对应层的特征输出；对于最后一层输出特征图分别进行一次3×3卷积运算和一次上采样池化操作后分别得到预测的主体预测图、细节预测图、以及将两者的特征融合图；

S52.将主体图解码器输出的特征与细节图解码器输出的特征相加融合后得到新的特征数据后，主要有两个作用：一是对特征进行两次3x3的卷积运算，再进行上采样池化得到显著目标预测图；另外一个作用是将融合得到的特征传入特征交互模块，用于迭代训练模型；

S53.特征交互模块一共包括三个特征交互块，每一块接收来自上一层的输出作为输入，将输入的特征做一次3×3的卷积运算，输出特征图，分别传入两个解码模块以及下一个交互块；

S54.特征交互模块一共包括三个特征交互块，每一块接收来自上一层的输出作为输入，将输入的特征做一次3×3的卷积操作，将结果传入三个方向，一是对特征进行一次下采样后传入下一层交互块，二是传入主体图解码器的对应块，三是传入细节图解码器的对应块。

5.如权利要求1所述的一种基于互补标签融合监督学习的图像显著性检测方法，其特征在于：步骤S6所述的计算损失值内容如下：

S61.对于得到的物体主体预测图和物体细节预测图，与对应的标签图进行求损失值，损失值计算采用Binary Cross Entropy函数：

其中，g(x,y)是标签图位于(x,y)的像素对应的值，值的范围在[0,1]；p(x,y)是预测图位于(x,y)的像素对应的值；l_bce为损失值；

S62.对于得到的显著目标预测图，与真实标签对比，求损失值，由于真实标签的像素值只为0或1，采用Iou函数：

其中g(x,y)与p(x,y)的含义与步骤S61中的一致。