[发明专利]一种基于卷积神经网络的深度感知显著性检测方法

权利要求书

1.一种基于卷积神经网络的深度感知显著性检测方法，其特征在于，具体步骤如下：

(a).将深度图转化为三通道深度图；

(b).将三通道深度图和彩色图分别送入彩色显著性网络和深度显著性网络中，得到彩色显著性图和深度显著性图；

(c).将彩色显著性图和深度显著性图一起送入显著性融合网络中，得到融合显著性图；

(d).将彩色显著性图和深度显著性图联合训练并计算损失函数loss，以此来训练步骤(b)和(c)中的网络，让其拥有更强的特征提取能力；

所述步骤(c)用显著性融合网络计算融合图，具体步骤如下：

(c-1)、将彩色显著性图和深度显著性图一起送入显著性融合网络中，该网络主要由3个部分组成：相乘部分，相加部分和级联部分；

(c-2)、相加部分是将深度显著性图和彩色显著性图相加，相乘部分是将深度显著性图先经过sigmoid函数，将深度显著性图归一化到[0,1]之间，即转化为一种权重图，高显著性部分权重接近1，低显著性部分权重接近0，将权重图和彩色显著性图相乘；

(c-3)、将相加和相乘的结果送入级联层，将两种显著性结果融合并经过卷积后得到最终的融合显著性图。

2.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(a)将深度图转化为三通道深度图，具体步骤如下：

(a-1)、将深度图像全部送入HHA算法中，将深度图转化为水平差异图，对地高度图以及表面法向量图三种单通道深度图；

(a-2)、将这三种单通道深度图的像素值用RGB三种颜色表示，再将三种单通道深度图组成三通道深度图。

3.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(b)中将两种图送入两种显著性网络，得到彩色显著性图和深度显著性图，具体步骤如下：

(b-1)、输入原始彩色图像和三通道深度图像其中N表示图像的总张数，(b-2)、彩色图送入彩色显著性检测模型，输出得到彩色显著性图；

(b-3)、三通道深度图送入一种深度显著性网络，该网络由两部分组成，基础网络部分是由VGG16部分组成，该网络对输入图像进行了卷积和池化操作，将VGG16网络中的第五层池化去掉，并在第三和第四次池化后加入dropout层，采用空间多尺度金字塔结构来融合信息，具体做法是将第5层卷积层输出的特征进行上采样，并与第4层卷积层输出的结果相加，然后将相加的结果进行卷积再做上采样，并与第3层卷积层输出的结果相加，再将相加的结果进行卷积和上采样，并与第2层卷积层结果相加，并将此结果经过卷积层变为2通道后再上采样输出得到深度显著性图。

4.根据权利要求1所述的基于卷积神经网络的深度感知显著性检测方法，其特征在于，所述步骤(d)计算网络损失函数loss，具体步骤如下：

(d-1)、将彩色显著性网络，深度显著性网络和显著性融合网络进行联合训练即同时计算3个网络的loss并相加得到总的loss值，如式(1)所示，

Loss_A＝Loss_D+Loss_C+Loss_F (1)

式(1)中的3个loss越小，步骤(b)和(c)中网络的特征提取能力越强；

(d-2)、三个网络的损失函数都采用相同的损失函数，如式(2)所示，

其中W和b代表损失函数的权重和偏差参数，Y₊和Y_-表示显著性对象和背景区域，β＝|Y₊|/Y表示显著性对象在背景中的比例，表示像素属于显著性物体的概率。