[发明专利]一种基于半监督神经网络的高光谱图像显著图生成方法

说明书

本发明提供一种基于半监督神经网络的高光谱图像显著图生成方法，包括：构建半监督神经网络；所述半监督神经网络包括孪生预测模块和注意力辅助模块；利用完全监督数据集对孪生预测模块和注意力辅助模块进行预训练；利用预训练的注意力辅助模块对弱监督数据集生成像素级掩码；使用像素级掩码和弱监督数据集对预训练的对孪生预测模块进行完全监督训练；利用完全监督训练好的孪生预测模块对输入的高光谱图像生成显著图。本发明采用半监督神经网络提取高光谱图像特征并直接生成预测显著图，极大的节省了像素级标注成本，提高模型鲁棒性和检测精度，能够生成质量更高的显著图。

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种基于半监督神经网络的高光谱图像显著图生成方法。

背景技术

高光谱图像能够同时获取目标的空间信息和光谱信息，具有数十或数百个光谱波段。高光谱成像技术在空间分辨率、光谱分辨率和便携性上都已经得到了长足的发展，在地物遥感、精准农业、医学诊断、目标检测等领域都得到了广泛地应用。

显著图模拟了人类视觉注意力机制，描述了人眼在视野内重点关注的目标或区域。显著性检测任务就是让计算机模拟人眼的这种能力，提取图像中的显著性目标并生成显著图。在传统方法中，人们主要利用颜色、纹理、亮度等浅层特征计算局部或全局对比度，以获得最具有显著性的区域。近些年来，引入了基于深度学习的神经网络模型，能够学习到深层特征，在鲁棒性和检测精度上都有很大提升。

高光谱图像具有图谱合一的特点，每个像素点都具有一条完整的光谱曲线，能够更好的反映物质特性，这使得高光谱图像显著图具有精度高、抗干扰等优势。但是高光谱数据获取困难，数据冗余大、维度高的特性增加了数据处理难度。此外训练神经网络模型需要像素级标注，标注成本高。半监督神经网络只需要使用少量具有像素级标注的完全监督数据，而剩余的大部分数据不需要标注或只进行弱标注，这将有效降低标注成本。因此将半监督神经网络应用到高光谱图像显著图生成中具有重要意义和价值。

发明内容

本发明旨在提供一种基于半监督神经网络的高光谱图像显著图生成方法，只使用少量具有像素级标注的完全监督数据和大量弱标注的弱监督数据，生成高质量的高光谱图像显著图，从而解决高光谱数据处理难、神经网络模型像素级标注成本高的问题。

本发明提供的一种基于半监督神经网络的高光谱图像显著图生成方法，包括如下步骤：

构建半监督神经网络；所述半监督神经网络包括孪生预测模块和注意力辅助模块；

利用完全监督数据集对孪生预测模块和注意力辅助模块进行预训练；

利用预训练的注意力辅助模块对弱监督数据集生成像素级掩码；

使用像素级掩码和弱监督数据集对预训练的对孪生预测模块进行完全监督训练；

利用完全监督训练好的孪生预测模块对输入的高光谱图像生成显著图。

在一些实施例中，所述注意力辅助模块包括超像素采样网络、全局平均池化层、全连接层、1×1卷积层、Sigmoid函数层和U²Net网络；所述注意力辅助模块的处理过程如下：

所述超像素采样网络对输入的弱监督数据集中的特征图提取超像素局部特征并输入全连接层；

所述全局平均池化层对输入的弱监督数据集中的特征图提取全局特征并将全局特征上采样到原始尺寸后输入全连接层；

所述全连接层将局部特征和全局特征相结合为融合特征后输入卷积层；

所述1×1卷积层根据融合特征生成注意力权重并经Sigmoid函数层输出；

计算注意力权重与输入的弱监督数据集中的特征图的哈达玛积并输入U²Net网络；