[发明专利]多模态负样本构建、模型预训练方法、装置、设备及介质

说明书

本公开提供了一种多模态负样本的构建、多模态模型的预训练方法、装置、设备及介质，涉及数据处理技术领域，具体涉及人工智能及知识图谱技术。该多模态负样本的构建方法包括：获取多个多模态正样本，并在各多模态正样本中进行实体识别，获取与各多模态正样本对应的目标实体；根据各目标实体在知识图谱中的实体位置，将各多模态正样本聚类为至少一个样本簇；使用同一样本簇中的各多模态正样本，构建得到多模态负样本。本公开技术方案提供了一种挖掘多模态困难负样本的新方式，可以在无需任何先验知识的前提下，简单、便捷的挖掘出高质量的多模态困难负样本。

技术领域

本公开涉及数据处理技术领域，具体涉及人工智能及知识图谱技术，尤其涉及多模态负样本的构建方法、多模态模型的预训练方法、多模态负样本的构建装置、多模态模型的预训练装置、电子设备及存储有计算机指令的非瞬时计算机可读存储介质。

背景技术

在多模态预训练中，判断不同模态的数据是否匹配是最常用的训练任务之一，如果想要在多模态训练达到对细粒度匹配精度对齐的效果，需要使用多模态困难负样本进行多模态预训练。

所谓多模态困难负样本，是指样本中的两个模态数据为具有一定相关性的不匹配数据。目前，相关技术主要采取依靠附加信息(例如：内容标签)辅助判断困难程度的方式，挖掘得到多模态困难负样本。

然而，上述挖掘方式需要强依赖于附加信息，对于不具有附加信息的数据，无法构建出多模态困难负样本。

发明内容

本公开提供了一种用于多模态负样本的构建方法、多模态模型的预训练方法、多模态负样本的构建装置、多模态模型的预训练装置、电子设备及存储有计算机指令的非瞬时计算机可读存储介质。

根据本公开的一方面，提供了一种多模态负样本的构建方法，包括：

获取多个多模态正样本，并在各所述多模态正样本中进行实体识别，获取与各所述多模态正样本对应的目标实体；

根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇；

使用同一所述样本簇中的各所述多模态正样本，构建得到多模态负样本。

根据本公开的另一方面，提供了一种多模态模型的预训练方法，包括：

通过如本公开任一项所述的多模态负样本的构建方法，构建得到多模态负样本；

使用构建得到的所述多模态负样本，预训练得到细粒度的多模态模型。

根据本公开的另一方面，提供了一种多模态负样本的构建装置，包括：

目标实体获取模块，用于获取多个多模态正样本，并在各所述多模态正样本中进行实体识别，获取与各所述多模态正样本对应的目标实体；

样本簇聚类模块，用于根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇；

负样本构建模块，用于使用同一所述样本簇中的各所述多模态正样本，构建得到多模态负样本。

根据本公开的另一方面，提供了一种多模态模型的预训练装置，包括：

负样本构建模块，用于通过如本公开任一项所述的多模态负样本的构建装置，构建得到多模态负样本；

预训练模块，用于使用构建得到的所述多模态负样本，预训练得到细粒度的多模态模型。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，