[发明专利]一种基于特征先校正再融合的多模态显著性目标检测方法

权利要求书

1.一种基于特征先校正再融合的多模态显著性目标检测方法，其特征在于，所述检测方法包括：

根据所述基于两阶段的特征先校正后融合的多模态显著性目标检测模型，充分考虑了低视觉质量和前景不一致的深度图像的影响。

在图像生成阶段，对输入的可见光-深度图像对利用两步样本选择策略选择高质量和前景一致的深度图像作为图像生成网络的监督信息，重新训练图像生成网络，之后，将原始输入的可见光-深度图像对中的所有可见光图像输入训练好的图像生成网络中，获得高质量和前景一致的伪深度图像；

在显著性推理阶段，深度特征校正模块去利用提取到的伪深度特征对原始深度特征中包含的不可信信息进行校正；

在显著性推理阶段，浅层特征注入模块去利用深层特征生成权重对重要浅层细节特征进行选择，进而补充到深层特征中为了更准确的显著性预测；

在显著性推理阶段，多模态多尺度融合模块去充分挖掘和捕捉可见光图像和深度图像中的互补信息和跨模态融合特征的多尺度上下文信息；采用注意力机制整合跨模态融合特征获得最终的融合特征，进而通过解码器对编码特征进行解码特征；

融合特征逐级进行解码预测最终显著性图，获得显著性预测图；

根据区域一致性感知损失函数，同时考虑了前景显著性目标的局部区域一致性和背景区域的一致性，联合交叉熵损失和基于交并比的损失函数进一步训练网络获得更加完整的显著性目标。

对显著性预测图采用监督学习模型得到网络模型参数。

2.根据权利要求1所述的一种基于特征先校正再融合的多模态显著性目标检测方法，其特征在于，图像生成阶段，通过两步样本选择策略获取高质量和前景一致的深度图像，并将深度图像作为图像生成网络的监督信息，获得重新训练的图像生成网络，将原始输入可见光-深度图像对中的可见光图像送入训练好的图像生成网络，获得高质量和前景一致的伪深度图像，具体包括：

将原始可见光深度图像对中的深度图像送入一个预训练好的显著性预测网络深度显著性图P_d，计算它们和对应真实值之间的交并比，对于的深度图像，进行选择并构建新的深度图像集D_a。

3.根据权利要求2所述的一种基于特征先校正再融合的多模态显著性目标检测方法，其特征在于，从D_a中选择高质量和前景一致的深度图像通过进一步分别计算RGB图像显著性预测结果的正阳率和深度图像显著性预测结果的正阳率：

对于的深度图像进行选择从新构建的深度样本集D_a作为最终的深度样本集D_b，同时，我们进行选择那些对应的RGB图像，进一步获得新的可见光深度图像对RD；

对于RD中的所有可见光深度图像，,利用其重新训练图像生成网络，将RD中的可见光图像作为输入，深度图像作为图像生成网络的监督信息，训练完成后，将原始输入的可见光深度图像中的所有可见光图像送入重新训练后的图像生成网络中获得对应的高质量和前景一致的伪深度图像。

4.根据权利要求1所述的一种基于特征先校正再融合的多模态显著性目标检测方法，其特征在于，根据所述的深度特征校正模块，去充分利用生成的高质量和前景一致的伪深度图像去纠正包含在原始深度图像中的不可信信息，具体包括：

首先利用提取到的伪深度特征在通道维度重新加权原始深度特征进而抑制包含在原始深度特征中的不可信信息；

伪深度特征进一步通过空间注意力机制被应用去校正得到的初始深度特征实现了显著性目标内容的一致性：

最后伪深度特征进一步被嵌入到增强的深度特征中，获得最终校正的深度特征dⁱ。