[发明专利]基于Transformer网络和超球空间学习的多模态图像处理方法及系统

权利要求书

1.一种基于Transformer网络和超球空间学习的多模态图像处理方法，其特征在于，该方法具体包括如下步骤：

步骤S1：获取预训练的Transformer网络模型，并基于各个模态的图像数据以自监督方式微调该预训练的Transformer网络模型，得到各个模态对应的教师模型；

步骤S2：构建能够基于多模态图像进行超球空间学习的多分支模型，其由各个模态对应的教师模型和一个多模态融合模型构成；

步骤S3：基于各个模态对应的教师模型分别提取各个模态图像的教师蒸馏向量，基于所述多模态融合模型提取各个模态图像的学生蒸馏向量，并基于所述多模态融合模型提取各个模态图像在单位超球空间的特征及其分类概率；

步骤S4：基于所述各个模态图像的教师蒸馏向量、所述各个模态图像的学生蒸馏向量、所述各个模态图像在单位超球空间的特征以及所述各个模态图像在单位超球空间的分类概率计算各个模态的蒸馏损失、模态间中心对齐损失、模态内均匀性损失和分类损失，并基于所述蒸馏损失、所述模态间中心对齐损失、所述模态内均匀性损失和所述分类损失更新所述多模态融合模型；

步骤S5：采用更新后的所述多模态融合模型基于待检测模态的图像和待查询模态的图像生成零样本跨模态检索结果；

其中，所述步骤S4的具体实现方式为：

多模态融合模型的训练过程是在各个模态对应的教师模型的监督下进行的，因为各个模态对应的教师模型是以自监督方式预训练的，它们被优化为发现每张图像所特有的全局结构信息；然而，多模态融合模型的目的是消除同个类别但不同模态的分布之间的模态差异，这将不可避免地要求多模态融合模型更多地关注整个类别共享的更具辨别性的局部结构，逐渐忘却每张图像所特有的结构信息，因此，通过知识蒸馏来避免这种名叫“灾难性遗忘”的现象；

基于照片的教师蒸馏向量及其学生蒸馏向量计算照片的蒸馏损失基于素描图的教师蒸馏向量及其学生蒸馏向量计算素描图的蒸馏损失以照片为例，给定N张图像构成的一批数据，知识蒸馏匹配教师蒸馏向量和学生蒸馏向量的概率分布，计算照片的蒸馏损失如下：

其中，τ_I和τ_D分别表示照片模态教师模型和多模态融合模型的温度超参，ψ表示Softmax归一化操作，KL表示Kullback-Leibler散度，以任意第张照片或任意第张素描图为例，和分别表示照片和素描图的教师蒸馏向量，而和分别表示照片和素描图的学生蒸馏向量；同理，也能够由一批素描图图像计算得到；因此，多模态融合模型的总体蒸馏损失定义为：

照片和素描图都被投影到单位超球空间，并期望照片和素描图能够按照类别聚集起来，当所有类别的图像都各自聚集起来，那它们的分布在超球空间中是线性可分的，因此，使用一个线性分类器对特征进行分类，计算分类损失如下：

其中，表示数学期望，x_i表示任意第张照片或者素描图，y_i表示x_i的类别标签，θ_c表示所述线性分类器的参数，多模态融合模型的结构是由一个骨架网络f_F和两个投影网络h_D和h_F构成，用g_D表示f_F和h_D构成的模型，g_F表示f_F和h_F构成的模型，P(y_ig_F(x_i)；θ_c)表示参数为θ_c的线性分类器将x_i分类为y_i的概率；

此外，基于各个模态图像在单位超球空间的特征计算模态间中心对齐损失明确要求各个模态图像在单位超球空间的特征分布在超球上是重叠的：

其中，为了简化表示，*表示照片模态I或者素描图模态S，λ是指数移动平均的权值，表示一批图像数据中类别标签为y_j的样本的数量，表示类中心，表示由各个类别y_i组成的类集合，上述第二行公式表示L2范数归一化类中心，即将类中心映射回单位超球空间；

另外，基于各个模态图像在单位超球空间的特征和径向基函数，为每个模态的特征计算模态内均匀性损失，其中模态内均匀性损失定义为成对特征的高斯势的期望的对数；最后，总的模态内均匀性损失是各个模态的模态内均匀性损失与的和：

其中，和表示同模态的任意两张图像，t是固定为2的参数，为任意成对图像和计算高斯势；

最后，多模态融合模型的总体目标函数是上述四种损失的线性加权，定义如下：

其中，λ₁和λ₂分别是模态间中心对齐损失和模态内均匀性损失的超参数，计算出多模态融合模型的总体目标函数的值后，根据随机梯度下降算法更新多模态融合模型的参数，得到更新后的所述多模态融合模型。