[发明专利]多模态负样本构建、模型预训练方法、装置、设备及介质

权利要求书

1.一种多模态负样本的构建方法，包括：

获取多个多模态正样本，并在各所述多模态正样本中进行实体识别，获取与各所述多模态正样本对应的目标实体；

根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇；

使用同一所述样本簇中的各所述多模态正样本，构建得到多模态负样本。

2.根据权利要求1所述的方法，其中，在各所述多模态正样本中进行实体识别，获取与各所述多模态正样本对应的目标实体，包括：

在各所述多模态正样本中，获取文本模态的样本数据；

在各所述文本模态的样本数据中进行实体识别，并将识别到的实体作为与所属多模态正样本对应的目标实体。

3.根据权利要求1或2所述的方法，其中，根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇，包括：

根据第一多模态正样本的第一实体位置和第二多模态正样本的第二实体位置，计算所述第一多模态正样本和所述第二多模态正样本在所述知识图谱中的实体距离；

如果所述实体距离位于预设的实体距离范围内，则将所述第一多模态正样本和所述第二多模态正样本聚类至同一样本簇中。

4.根据权利要求3所述的方法，其中，根据第一多模态正样本的第一实体位置和第二多模态正样本的第二实体位置，计算所述第一多模态正样本和所述第二多模态正样本在所述知识图谱中的实体距离，包括：

在所述知识图谱中，遍历获取从所述第一实体位置游走到所述第二实体位置的最短路径；

将所述最短路径确定为第一多模态正样本和所述第二多模态正样本在所述知识图谱中的实体距离。

5.根据权利要求1或2所述的方法，其中，根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇，包括：

根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本添加至所述知识图谱中；

根据各所述多模态正样本之间的匹配度，在所述知识图谱中，为各所述多模态正样本添加连接关系；

在完成添加操作的所述知识图谱中进行图聚类处理，并根据图聚类结果，将各所述多模态正样本聚类为至少一个样本簇。

6.根据权利要求5所述的方法，其中，根据各所述多模态正样本之间的匹配度，在所述知识图谱中，为各所述多模态正样本添加连接关系，包括：

计算两两所述多模态正样本之间的匹配度；

在所述知识图谱中，为所述匹配度位于预设的匹配度范围的两两多模态正样本添加连接关系。

7.根据权利要求6所述的方法，其中，计算两两所述多模态正样本之间的匹配度，包括：

在所述两两多模态正样本中，分别获取不同模态的样本数据；

将所述不同模态的样本数据共同输入至预先训练的粗粒度多模态模型中，获取所述两两多模态正样本之间的匹配度。

8.根据权利要求1所述的方法，其中，使用同一所述样本簇中的各所述多模态正样本，构建得到多模态负样本，包括：

在同一所述样本簇的两两多模态正样本中，分别获取不同模态的样本数据，构建得到多模态负样本。

9.一种多模态模型的预训练方法，包括：

通过如权利要求1-8任一项所述的方法，构建得到多模态负样本；

使用构建得到的所述多模态负样本，预训练得到细粒度的多模态模型。

10.一种多模态负样本的构建装置，包括：

目标实体获取模块，用于获取多个多模态正样本，并在各所述多模态正样本中进行实体识别，获取与各所述多模态正样本对应的目标实体；

样本簇聚类模块，用于根据各所述目标实体在知识图谱中的实体位置，将各所述多模态正样本聚类为至少一个样本簇；

负样本构建模块，用于使用同一所述样本簇中的各所述多模态正样本，构建得到多模态负样本。