[发明专利]多模态预训练模型的训练方法、应用方法及装置

说明书

本申请提出一种多模态预训练模型的训练方法、应用方法及装置，该方法包括：构建双塔结构的多模态预训练模型；获取包括正样本图文对的正样本数据集和包括负样本图文对的负样本数据集；根据正样本数据集和负样本数据集训练多模态预训练模型，多模态预训练模型包括用于对正样本图文对和负样本图文对进行图文相似度对比学习的跨模态对比学习模块。本申请中多模态预训练模型采用双塔结构和跨模态对比学习算法，对图像和文本模态都构建大量负样本，模型表达能力强，提高了图文对的处理精度。该模型计算图文间的整体相似度，根据相似度判断图文是否对应，基于图文弱相关假设，更贴合实际应用中图文对中图文间语义弱相关的实际情况。

技术领域

本申请属于计算机应用技术领域，具体涉及一种多模态预训练模型的训练方法、应用方法及装置。

背景技术

近年来，预训练模型已成为自然语言处理(NLP，Natural Language Processing)研究领域的热门话题。涉及多种模态信息交互的多模态预训练模型适用于更多的应用场景，如针对图文对的多模态预训练模型逐渐受到广泛关注。

目前，相关技术中提供了一些处理图文对的多模态预训练模型，这些多模态预训练模型假设输入的图文对中文本与图像之间存在强语义相关性，通过判断文本中包括的单词与图像所展示的内容之间是否存在语义对应关系，来确定输入的图文对中的文本与图像是否对应。

但实际应用中图文对中图像与文本之间不一定存在强语义相关性，上述相关技术通过单词与图像的语义对应关系来判断文本与图像是否对应，准确性很低。

发明内容

本申请提出一种多模态预训练模型的训练方法、应用方法及装置，本申请中多模态预训练模型采用双塔结构和跨模态对比学习算法，对图像和文本模态都构建大量负样本，模型表达能力强，提高了图文对的处理精度。该模型计算图文间的整体相似度，根据相似度判断图文是否对应，基于图文弱相关假设，更贴合实际应用中图文对中图文间语义弱相关的实际情况。

本申请第一方面实施例提出了一种多模态预训练模型的训练方法，包括：

构建双塔结构的多模态预训练模型；

获取正样本数据集和负样本数据集，所述正样本数据集包括正样本图文对，所述负样本数据集包括负样本图文对；

根据所述正样本数据集和所述负样本数据集训练所述多模态预训练模型，所述多模态预训练模型包括跨模态对比学习模块，所述跨模态对比学习模块用于对所述正样本图文对和所述负样本图文对进行图文相似度对比学习。

在本申请的一些实施例中，所述构建双塔结构的多模态预训练模型，包括：

将图像编码器和图像动量编码器均与第一全连接层连接；

将文本编码器和文本动量编码器均与第二全连接层连接；

将所述第一全连接层和所述第二全连接层均与多层感知机连接；

将所述多层感知机与跨模态对比学习模块连接，得到双塔结构的多模态预训练模型。

在本申请的一些实施例中，所述根据所述正样本数据集和所述负样本数据集训练所述多模态预训练模型，包括：

在当前训练周期，将至少一个所述正样本图文对和多个所述负样本图文对输入所述多模态预训练模型；

通过所述图像编码器获得第一正样本图文对中图像对应的正样本图像特征向量；通过所述图像动量编码器获得每个所述负样本图文对中图像对应的负样本图像特征向量；

通过所述第一全连接层将所述正样本图像特征向量和每个所述负样本图像特征向量拼接为图像特征向量序列；

通过所述文本编码器提取第一正样本图文对中文本对应的正样本文本特征向量；通过所述文本动量编码器提取每个所述负样本图文对中文本对应的负样本文本特征向量；