[发明专利]一种交叉引导融合的RGB-T图像显著性检测系统

权利要求书

1.一种交叉引导融合的RGB-T图像显著性检测系统，其特征在于，包括：

特征提取模块，用于对输入的RGB图像和热红外图像分别提取其各自的粗糙的5级特征，其中从彩色图像所提取5级特征记为R₀～R₄，从热红外图像所提取的5级特征记为T₀～T₄；

解码模块，用于从特征提取模块获取特征信息，并对所获取的RGB图像特征和热红外图像特征逐级进行融合后得到显著性图；

所述解码模块进一步包括：

GFAPF模块，用于从特征提取模块获取两个模态的最高级特征R₄和T₄，对特征R₄和T₄进行整合得到全局语义特征；

三级解码块，为第一级交叉引导融合模块即CGFM1模块、第二级交叉引导融合模块即CGFM2模块和第三级交叉引导融合模块即CGFM3模块；

三个特征聚合模块，为FA1模块、FA2模块和FA3模块；

所述CGFM1模块，用于1)从特征提取模块获取两个模态的最高级特征R₄和T₄以及高级特征R₃和T₃；2)一方面以R₃为主要引导模态，以T₃为辅助模态，将两个模态的特征R₃和T₃进行跨模态融合一次；3)另一方面以T₃为主要引导模态，以R₃为辅助模态，将两个模态的特征R₃和T₃再进行跨模态融合一次；4)对两个模态的最高级特征R₄和T₄进行融合后再进行特征增强；5)从GFAPF模块获取全局语义特征，并对该全局语义特征进行处理使其分辨率与R₃和T₃一致；6)将上述2)、4)、5)得到的结果进行整合作为CGFM1模块的一个输出，将上述3)、4)、5)得到的结果进行整合作为CGFM1模块的另一个输出；

所述FA1模块，用于对CGFM1模块输出的特征进行聚合并将聚合后的特征发送给CGFM2模块；

所述CGFM2模块，用于10)从特征提取模块获取两个模态的特征R₂和T₂，并获取CGFM1模块的两个输出；20)一方面以R₂为主要引导模态，以T₂为辅助模态，将两个模态的特征R₂和T₂进行跨模态融合一次；30)另一方面以T₂为主要引导模态，以R₂为辅助模态，将两个模态的特征R₂和T₂再进行跨模态融合一次；40)对CGFM1模块的两个输出的特征进行融合后再进行特征增强；50)对从FA1模块接收的特征进行处理使其分辨率与R₂和T₂一致；60)将上述20)、40)、50)得到的结果进行整合作为CGFM2模块的一个输出，将上述30)、40)、50)得到的结果进行整合作为CGFM2模块的另一个输出；

所述FA2模块，用于对CGFM2模块输出的特征进行聚合并将聚合后的特征发送给CGFM3模块；

所述CGFM3模块，用于100)从特征提取模块获取两个模态的特征R₁和T₁，并获取CGFM2模块的两个输出；200)一方面以R₁为主要引导模态，以T₁为辅助模态，将两个模态的特征R₁和T₁进行跨模态融合一次；300)另一方面以T₁为主要引导模态，以R₁为辅助模态，将两个模态的特征R₁和T₁再进行跨模态融合一次；400)对CGFM2模块的两个输出的特征进行融合后再进行特征增强；500)对从FA2模块接收的特征进行处理使其分辨率与R₁和T₁一致；600)将上述200)、400)、500)得到的结果进行整合作为CGFM3模块的一个输出，将上述300)、400)、500)得到的结果进行整合作为CGFM3模块的另一个输出；

所述FA3模块，用于对CGFM3模块输出的特征进行聚合并将聚合后的特征进行卷积上采样处理，处理后的特征图进行二值化处理得到最后的显著性图。