[发明专利]图像识别模型训练方法、装置及存储介质

说明书

本发明提供一种图像识别模型训练方法、装置及存储介质，该方法包括：根据N个样本数据，生成多个训练数据对；将所述多个训练数据对输入基于Siamese网络结构的深度神经网络模型中；获取所述训练数据对中两个样本数据在深度神经网络模型的每层网络层的输出信息；计算所述训练数据对中第一对比损失函数和第二对比损失函数；根据所述第一对比损失函数、所述第二对比损失函数以及softmax损失函数，更新所述深度神经网络模型的参数。本发明提供的方法可以使训练后的模型能够识别出同一类别下的不同模态的图像，提高了模型识别图像的正确率。

技术领域

本发明涉及图像处理技术，尤其涉及图像识别模型训练方法、装置及存储介质。

背景技术

不同模态的图像信息来自于不同的观测角度，它们对于主体事物的描述也不尽相同。例如常见的可见光图像，有着丰富的颜色、纹理、形状等信息，但是图像识别常常会受图像中的光照、背景、遮挡等因素干扰；红外图像是比较多的一种图像，其含有丰富的角点、边缘、纹理等信息，但是与可见光图像相比，红外图像的视觉效果较模糊；同样地，深度图像中也含有比较丰富的形状、边缘信息等，受光照、背景等因素的干扰较小，也是一种对可见光图像的有效补充；而类似插画、素描等艺术图像也会对事物的描述起到一定作用。显而易见，单独使用上述的任何一种特定模态图像都不能全面有效地描述一个事物，而这些多模态图像之间往往存在着很多的互补信息，因此在对一个事物进行描述时，使用多模态图像往往可以更加全面细致。

目前，将不同模态的图像进行融合最常用的方法是基于深度自编码器的映射学习方法。该方法在编码过程中使用不同模态的数据，其中这些数据可以是原始图像也可以是对原始图像提取的特征，通过中间隐藏层得到多个不同模态的共享特征表达。在解码阶段，使用中间层抽取得到的压缩编码表达对多个不同的模态进行解码，最终得到整个模型的优化参数。

然而，上述现有方法只考虑了同一个事物在同一模态及不同模态间的图像融合，没有考虑同类事物在同一模态及不同模态间的融合，即通过上述方法得到的模型只能识别出同一个事物的图像，对于同类别下的其他事物无法识别。

发明内容

本发明提供一种图像识别模型训练方法、装置及存储介质，用于解决现有技术中由于缺乏模态内图像和模态间图像在相同类别内的语义一致性而无法获得显著性的多模态融合特征的技术问题。

本发明第一方面提供一种图像识别模型训练方法，该方法包括：

根据N个样本数据，生成多个训练数据对；其中，所述训练数据对由两个所述样本数据组成；所述N个样本数据包括：至少两种模态下的多种类别的样本数据；

将所述多个训练数据对输入基于Siamese网络框架的深度卷积神经网络模型中；

获取所述训练数据对中两个样本数据在深度卷积神经网络模型的每层网络层的输出信息；所述深度卷积神经网络模型包含L层网络层，其中，L大于1；

计算所述训练数据对中第一对比损失函数和第二对比损失函数；其中，所述第一对比损失函数用于表示同一模态下的任意两个所述样本数据之间的相似度，所述第二对比损失函数用于表示不同模态下的任意两个所述样本数据之间的相似度；

根据所述第一对比损失函数、所述第二对比损失函数以及softmax损失函数，更新所述深度卷积神经网络模型的参数。

在一种可能的实施方式中，所述样本数据的属性包括样本标签、类别标签、模态标签。

在一种可能的实施方式中，所述根据N个样本数据，生成多个训练数据对时，包括：

根据所述N个样本数据，确定同一所述模态标签以及同一所述类别标签下所述样本数据的类中心样本数据；

针对每个样本数据以及每个类中心样本数据，构造训练数据对，获得多个训练数据对。