[发明专利]一种深度感知和多模态自动融合的RGB-D显著性目标检测方法

权利要求书

1.一种深度感知和多模态自动融合的RGB-D显著性目标检测方法，其特征在于包括以下步骤：

S1、获取训练任务的图像数据集；

S2、分别建立用于提取彩色图像与深度图像的深度神经网络；

S3、建立用于多模态自动融合的超网络结构；

S4、基于所述的超网络结构进行神经网络结构搜索以确定模型结构；

S5、基于所述搜索结果进行预测模型训练，并得到最终的训练好的神经网络模型；

S6：将待检测的彩色图像与深度图像输入训练好的神经网络模型中，预测图中的显著性目标；

所述S2包括以下子步骤：

S21、对于每个单帧彩色图像I_train，其特征提取的深度神经网络由VGG19网络结构与4个插入的DSAM模块构成；其中第i个DSAM模块以VGG19的第i个卷积模块的输出r′_i作为输入，其输出作为VGG19的第i+1个卷积模块的输入，i∈{1，2，3，4}；在i个DSAM模块中，首先根据对应的深度图像D_train的频数直方图将深度图像拆解为三个部分并通过最大池化层来得到与r_i维度相同的三个子图像然后通过如下操作获得深度感知的彩色图像特征R_i：

式中Conv表示1×1的卷积模型；

四个DSAM模块的输出r₁、r₂、r₃、r₄以及VGG19的第五个卷积模块的输出r₅共同构成彩色图像的多尺度特征，用于后续多模态多尺度的特征自动融合；

S22、每个对应的深度图像D_train，使用一个轻量级的深度神经网络对深度图像进行特征提取，该深度神经网络共由五个级联的卷积模块组成，其输出的多尺度深度图特征d₁、d₂、d₃、d₄、d₅将用于后续多模态多尺度的特征自动融合；

所述S3中用于多模态自动融合的超网络结构具体构成如下：

S31、使用三个多模态单元来得到同尺度的多模态融合特征，每个单元将两对S2中获得的相邻的两种模态特征作为输入，并输出相应的多模态特征C_n：

C_n＝MM_n(r_n+1，r_n+2，d_n+1，d_n+2)，n∈{1，2，3}

其中MM_n()表示第n个多模态单元；

S32、使用四个多尺度单元来得到多尺度的多模态融合特征，每个单元以S31中的多模态特征或S2中的两种模态特征作为输入，并输出相应的多尺度特征D_m：

其中MS_m()表示第m个多尺度单元；

S33、使用一个特征聚集单元来进行全局特征的高度聚集，以得到全局的多模态多尺度特征G：

G＝GA(D₁，D₂，D₃，D₄)

其中GA()表示特征聚集单元；

S34、使用两个级联的结构加强单元来得到最终的显著性图，每个单元以前一单元的输出和S2中的两种模态特征为输入，来加强最终显著性特征的结构信息，并进行尺度对齐：

L₁＝SR₁(θ(G)，d₂，r₂)

L₂＝SR₂(θ(L₁)，d₁，r₁)

其中θ()代表上采样操作，SR_n代表第n个结构加强单元，L₂为最终的显著性图预测结果

所述S4中基于所述的超网络进行神经网络结构搜索操作如下：

S41、针对S3中共同构成超网络的四种单元，将每一种单元内部都看做由X个节点构成的有向无环图，分别设置四种单元内的节点数；然后从候选操作集合Q中选择若干候选操作来构成节点之间的连接；节点xⁱ、x^j之间的连接关系表示为：

x^j＝∑_i＜jo^(i，j)(xⁱ)

其中o^(i，j)()代表候选操作集合Q中候选操作的一种；

用Softmax函数将所有候选操作集加和在一起，构成单元内连续的搜索空间：

其中代表选择xⁱ和x^j之间的候选操作o的可学习权重参数；

整个搜索空间由四种单元的所有结构参数构成；

S42、在神经网络结构搜索阶段，用所述的超网络对数据集图像对进行预测，表示为：

其中F’()表示超网络函数，表示超网络的预测结果，ω’为超网络中模型的卷积网络参数，α′为超网络的结构参数；

以最小化超网络模型预测结果与人工标注的显著目标分割图误差为目标，对α′，ω′两种参数进行交替优化，得到固定的网络权重参数α^*，其对应的网络分支即超网络结构最终的搜索结果。