[发明专利]一种图像文本匹配的方法、装置、电子设备和存储介质

说明书

本发明涉及一种图像文本匹配的方法、装置、电子设备和存储介质，该方法包括：获取图像特征和文本特征；对图像特征进行图像增强处理生成两个含噪声的图像特征；对文本特征进行文本增强处理生成两个含噪声的文本特征；对两个含噪声的图像特征进行加入噪声的图像记忆单元处理；对两个含噪声的文本特征进行加入噪声的文本记忆单元处理；对图像记忆单元和文本记忆单元分别进行约束。本申请实施例通过关键记忆约束使得加入噪声的图像和文本记忆之间的语义一致性，高于不同图像和文本产生的其他记忆，从而提高了匹配效果；并且通过两种不同噪声的加入和对比学习，使得图像文本输入在受到干扰时依然能取得良好的匹配效果，提高了匹配的鲁棒性。

技术领域

本发明涉及图像文本匹配技术领域，具体涉及一种图像文本匹配的方法、装置、电子设备和存储介质。

背景技术

目前，图像文本匹配模型，一般由特征提取和特征检索两个主要模块构成。特征提取模型，通常采用卷积神经网络提取图像特征，采用词向量模型和循环神经网络提取文本特征，并将两个特征映射到同一个多模态空间中；特征检索模型，通常采用距离度量函数来衡量查询向量和多模态空间中其他特征向量之间的距离，从而根据距离分数生成一个检索排序表。但是上述匹配过程中容易受到多义词或局部相似图像的干扰，降低图像文本的匹配效果；并且受到文本或图像噪声扰动时，检索效果会大幅降低。

发明内容

本发明提供一种图像文本匹配的方法、装置、电子设备和存储介质，能够解决上述，降低图像文本的匹配效果的技术问题。

本发明解决上述技术问题的技术方案如下：

第一方面，本发明实施例提供了一种图像文本匹配的方法，包括：

获取图像特征和文本特征；

对所述图像特征进行图像增强处理生成两个含噪声的图像特征；

对所述文本特征进行文本增强处理生成两个含噪声的文本特征；

对所述两个含噪声的图像特征进行加入噪声的图像记忆单元处理；

对所述两个含噪声的文本特征进行加入噪声的文本记忆单元处理；

对所述图像记忆单元和文本记忆单元分别进行约束。

在一些实施例中，所述对所述图像特征进行图像增强处理生成两个含噪声的图像特征采用色彩变换和随机剪裁的方法；

所述对所述文本特征进行文本增强处理生成两个含噪声的文本特征采用随机交换文本词向量位置和随机消除文本序列中一个词向量用0代替两种方式。

在一些实施例中，所述对所述两个含噪声的图像特征进行加入噪声的图像记忆单元处理采用多头自注意力机制的方法；

所述对所述两个含噪声的文本特征进行加入噪声的文本记忆单元处理采用多头自注意力机制的方法。

在一些实施例中，对所述图像记忆单元和文本记忆单元分别进行约束采用NT-XENT Loss。

第二方面，本发明实施例提供了一种图像文本匹配的装置，包括：

获取模块：用于获取图像特征和文本特征；

图像增强处理模块：用于对所述图像特征进行图像增强处理生成两个含噪声的图像特征；

文本增强处理模块：对所述文本特征进行文本增强处理生成两个含噪声的文本特征；

加入噪声的图像记忆单元处理模块：用于对所述两个含噪声的图像特征进行加入噪声的图像记忆单元处理；

加入噪声的文本记忆单元处理模块：用于对所述两个含噪声的文本特征进行加入噪声的文本记忆单元处理；

约束模块：用于对所述图像记忆单元和文本记忆单元分别进行约束。