[发明专利]多模态预训练模型的训练方法、训练装置及电子设备

摘要

本申请提供了一种多模态预训练模型的训练方法、训练装置及电子设备。本申请通过将每一组图文对产生的图像特征向量和文本特征向量输入至多模态预训练模型完成对多模态预训练模型的训练。其中图像特征向量包括了第一类图像特征向量和第二类图像特征向量。第一类图像特征向量包括原始图片的全局特征，第二类图像特征向量包括原始图片的局部特征和局部特征的位置坐标。本申请中设置第二类图像特征向量可以将强相关的视觉‑语义场景准确的描述。本申请提供的多模态预训练模型的训练方法可以大量的节约在预训练时所花费的时间和计算资源，得到一个需要少量的数据就能够快速准确的进行文匹配的多模态预训练模型。