[发明专利]基于对抗互补特征的多模态图像融合分类方法与系统

权利要求书

1.基于对抗互补特征的多模态图像融合分类方法，其特征在于，训练步骤包括：

采集具有多模态的图像数据并进行预处理，从多个模态中选取待融合的模态，将每个模态中的图像数据按组输入至神经网络模型中；

先进行低层特征提取来获取图像关键特征信息向量，然后判断是否可以进行第一次信道融合，同时，将获取的图像关键特征向量进行第一次相似性计算；在低层特征提取之后，判读是否可以进行第一次信道融合，具体为：利用bn层设计影响因子，设定判断的阈值，设计影响因子计算通道对最终预测的影响，当影响因子高于设定的阈值，在不同模态的子网络之间将该信道按照比例和其他模态融合；

再将从低层特征提取出来的特征进行高层特征提取，再一次提取图像关键特征信息向量，判断是否可以进行第二次信道融合，同时将获取的高层图像关键特征信息向量进行第二次相似性计算；

分别将经过低层和高层特征提取的特征图进行聚类和对比学习，并计算分类损失，最后进行图像的预测，得到对应的类别得分，类别得分最大值所对应的类别作为预测结果；将每batch_size中的原始图像，通过浅层和高层特征提取和信道融合得到特征，按照类别进行粗粒度密度聚类，在一个类别中，划分出粒度相对较粗的类别，将这些类别进行密度聚类，并将其存储到典型队列中，随着训练过程不断更新典型队列；原始图像在经过浅层特征、高层特征提取和两次信道融合模块后，得到的特征图记为，，将，和典型队列中的特征分别串联，计算分类损失。

2.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，所述图像数据的预处理过程为：对采集的数据集中的图像数据进行标记，去除与分类任务不相关的外部信息，对图像待分类物品以及场景进行标记，将标记区域提取出来，对多模态数据集中一个场景或者同一物品的图像组进行相同的数据增强，不同图像组进行不同的数据增强，然后将增强后的图像尺度变换为统一大小。

3.如权利要求2所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，所述数据增强包括随机裁剪、水平翻转、垂直翻转、随机旋转、随机多裁剪、增加高斯噪声。

4.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，随机选取一个批次N张图像，任取M个模态，输入N*M张图像；根据图像输入批次以及选取模态的多少，将图像组同时加载并输入到神经网络中进行低层特征提取，经过卷积后提取图像的关键特征信息向量，得到图像组的特征图组。

5.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，所述影响因子为，

其中，表示仿射变换后的特征；表示原特征；表示原特征的方差；和是均值和误差，是一个小常数避免零除，和分别是两个模态的训练网络，l是模型中的第1层特征图；m代表第m个模态，c代表第c个类别；用于衡量信道对模型的影响程度，若影响程度高于阈值进行模态间的信道融合，获取融合后的特征；用于衡量偏置。

6.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，再将在低层特征提取中出来的特征加载输入到另一卷积神经网络中进行卷积运算进行高层特征提取，提取图像的关键特征信息向量，得到图像组的特征图组，再次判断是否能够进行第二次信道融合，若能，则进行第二次信道融合，得到最终融合后的特征图组。

7.如权利要求1所述的基于对抗互补特征的多模态图像融合分类方法，其特征在于，同时在进行低层特征和高层特征提取后，将一个场景或者物品的不同模态在浅层特征和高层特征提取获得的特征图组进行一次模态特征对比，用分类器计算模态之间的相似度，低层特征提取后的特征为不相似特征，高层特征提取后的特征为相似特征。

8.基于对抗互补特征的多模态图像融合分类系统，其特征在于，包括：

数据采集与处理模块，用于采集具有多模态的图像数据并进行预处理；

特征提取模块，用于从多个模态中选取待融合的模态，将每个模态中的图像数据按组输入至神经网络模型中，进行低层特征提取来获取图像关键特征信息向量；以及将在低层特征提取中出来的特征加载输入到另一卷积神经网络中进行卷积运算进行高层特征提取，提取图像的关键特征信息向量，得到图像组的特征图组；

信道融合模块，用于判断是否能够进行第一次信道融合和第二次信道融合，若能，则利用bn层设计影响因子，设定判断的阈值，设计影响因子计算通道对最终预测的影响，当影响因子高于设定的阈值，在不同模态的子网络之间将该信道按照比例和其他模态融合；

模态相似计算模块，用于在进行低层特征和高层特征提取后，将一个场景或者物品的不同模态在浅层特征和高层特征提取获得的特征图组进行一次特征对比，并计算相似度；

计算与预测模块，用于计算均方差损失以及输出相似度得分最大值所在的类别作为图像的预测结果；将每batch_size中的原始图像，通过浅层和高层特征提取和信道融合得到特征，按照类别进行粗粒度密度聚类，在一个类别中，划分出粒度相对较粗的类别，将这些类别进行密度聚类，并将其存储到典型队列中，随着训练过程不断更新典型队列；原始图像在经过浅层特征、高层特征提取和两次信道融合模块后，得到的特征图记为，，将，和典型队列中的特征分别串联，计算分类损失。