[发明专利]基于对抗互补特征的多模态图像融合分类方法与系统

说明书

本公开提供了一种基于对抗互补特征的多模态图像融合分类方法与系统，属于图像分类技术领域，包括从多个模态中选取待融合的模态，先低层特征提取获取图像关键特征信息向量，判断是否可以进行第一次信道融合以及第一次相似性计算；再进行高层特征提取，并判断是否可以进行第二次信道融合和第二次相似性计算；将从低层和高层特征提取的特征图进行聚类和对比学习，对互补信息进行有效挖掘和融合，增强特征之间的互补性，提高图像融合精度。

技术领域

本公开涉及图像分类技术领域，具体涉及一种基于对抗互补特征的多模态图像融合分类方法与系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

图像分类是计算机视觉的重要研究方向，在物品识别、人脸识别、视频分析、疾病诊断等众多任务中具有广泛的应用。虽然现有的图像分类方法在大数据的条件下可以取得较好的性能，然而对于某些图像较少的分类任务效果较差。另外，只使用单模态信息具有一定的局限性，例如，在利用多视角图像让分类任务中，单一视角对场景描述并不完全，导致分类性能不佳。

深度学习因为其出色的提取、学习能力已被广泛应用到自然语言、图像处理等领域。然而，在某些多模态分类任务中，数据较少，深度学习容易陷入过拟合。另外，现有的基于深度学习的多模态融合方法在融合时，忽略了互补信息的有效挖掘和融合，限制了融合分类精度的提升。

发明内容

本公开为了解决上述问题，提出了一种基于对抗互补特征的多模态图像融合分类方法与系统，采用对比学习的双分支网络结构，引入基于粗粒度密度聚类的原型学习模块学习类别的典型特征，用多聚点表示类别的类中心，使得学习到的典型特征更具泛化性。引入基于对抗学习的信道融合模块，通过挖掘信道中特征的相关性，选择对模型提升大的信道与其他模态进行融合，增强特征之间的互补性。

根据一些实施例的实施方式，本公开采用如下技术方案：

基于对抗互补特征的多模态图像融合分类方法，包括以下步骤：

采集具有多模态的图像数据并进行预处理，从多个模态中选取待融合的模态，将每个模态中的图像数据按组输入至神经网络模型中；

先进行低层特征提取来获取图像关键特征信息向量，然后判断是否可以进行第一次信道融合，同时，将获取的图像关键特征向量进行第一次相似性计算；

再将从低层特征提取出来的特征进行高层特征提取，再一次提取图像关键特征信息向量，判断是否可以进行第二次信道融合，同时将获取的高层图像关键特征信息向量进行第二次相似性计算；

分别将经过低层和高层特征提取的特征图进行聚类和对比学习，并计算分类损失，最后进行图像的预测，得到对应的类别得分，类别得分最大值所对应的类别作为预测结果。

根据一些实施例的一些实施方式，本公开采用如下技术方案：

基于对抗互补特征的多模态图像融合分类系统，包括：

数据采集与处理模块，用于采集具有多模态的图像数据并进行预处理；

特征提取模块，用于从多个模态中选取待融合的模态，将每个模态中的图像数据按组输入至神经网络模型中，进行低层特征提取来获取图像关键特征信息向量；以及将在低层特征提取中出来的特征加载输入到另一卷积神经网络中进行卷积运算进行高层特征提取，提取图像的关键特征信息向量，得到图像组的特征图组；

信道融合模块，用于判断是否能够进行第一次信道融合和第二次信道融合，若能，则利用bn层设计影响因子，设定判断的阈值，设计影响因子计算通道对最终预测的影响，当影响因子高于设定的阈值，在不同模态的子网络之间将该信道按照比例和其他模态融合。