[发明专利]基于Transformer网络和超球空间学习的多模态图像处理方法及系统

说明书

本发明公开了一种基于Transformer网络和超球空间学习的多模态图像处理方法及系统，包括获取预训练的Transformer网络模型，得到教师模型；构建由教师模型和多模态融合模型组成的多分支模型；提取教师蒸馏向量和学生蒸馏向量，以及各模态图像在单位超球空间的特征及其分类概率；计算各模态的蒸馏损失、模态间中心对齐损失、模态内均匀性损失和分类损失，并由此更新多模态融合模型；采用更新后的多模态融合模型基于待检测模态的图像和待查询模态的图像生成零样本跨模态检索结果。本发明能够有效提升多模态融合模型的建模和对齐多模态分布的能力，消除不同模态之间的模态差异问题，从而实现零样本跨模态检索。

技术领域

本发明涉及深度学习领域，具体涉及一种基于Transformer网络和超球空间学习的多模态图像处理方法及系统。

背景技术

随着科学技术的快速发展，图像数据变得越来越容易获取。这些图像数据具有多样的来源、视角、风格等等，形成多模态图像数据集。例如，素描图和照片是具有不同风格的两种模态图像，素描图具有高度的抽象性和描绘对象的结构细节，照片具有描绘对象的丰富视觉特征和复杂的背景信息。对于多模态图像的数据处理以及检索成为了深度学习技术领域的研究热点。

但是，现有的多模态图像处理方法，绝大多数假定实际应用时待查询模态的图像和被查询模态的图像所包含的类别与训练模型时所用数据类别完全一致，未考虑实际应用时遇到训练数据所不包含的类别的情况，造成检索结果较差。

此外，现有的多模态图像处理方法，均采用深度卷积神经网络作为基础网络架构，提取特征以供下游任务。然而，深度卷积网络的性能受限于卷积操作的局部性，无法建模对象的全局结构信息。最近提出的Transformer网络具有多头自注意力机制，能够有效建模对象的全局结构信息，在图像识别任务表现良好。

综上所述，现有的多模态图像处理方法具有应用设置不合理以及基础网络结构限制性能的问题。

发明内容

有鉴于此，本发明提供了一种基于Transformer网络和超球空间学习的多模态图像处理方法及其处理系统，解决了现有的多模态图像处理方法存在的应用设置不合理以及基础网络结构限制性能的问题。

为解决以上问题，本发明的技术方法为采用一种基于Transformer网络和超球空间学习的多模态图像处理方法，包括：获取预训练的Transformer网络模型，并基于各个模态的图像数据以自监督方式微调该预训练的Transformer网络模型，得到教师模型；构建能够基于多模态图像进行超球空间学习的多分支模型，其由各个模态对应的教师模型和一个多模态融合模型构成；基于教师模型提取各个模态图像的教师蒸馏向量；基于多模态融合模型提取各个模态图像的学生蒸馏向量，并基于多模态融合模型提取各个模态图像在单位超球空间的特征及其分类概率；根据教师蒸馏向量、学生蒸馏向量、特征、分类概率计算各个模态的蒸馏损失、模态间中心对齐损失、模态内均匀性损失和分类损失；基于蒸馏损失、模态间中心对齐损失、模态内均匀性损失和分类损失更新所述多模态融合模型；更新后的多模态融合模型基于待检测模态的图像和待查询模态的图像生成零样本跨模态检索结果。

进一步的是，构建能够基于多模态图像进行超球空间学习的多分支模型，其由各个模态对应的所述教师模型和一个多模态融合模型构成，包括：所述教师模型的网络结构是Transf ormer网络，并基于各个模态的图像数据以自监督训练方式微调预训练的Transformer网络模型，并基于知识蒸馏适应性地增加蒸馏标记；所述多模态融合模型是基于消除模态差异的目的提出的模型，其基础网络结构为Transformer网络，并基于知识蒸馏适应性地增加蒸馏标记，并基于超球学习适应性地增加融合标记。

进一步的是，所述蒸馏标记和所述融合标记是Transformer网络模型的输入嵌入向量，基于Transformer网络模型的多头自注意力层和全连接层训练得到。