[发明专利]跨模态的视频文本匹配方法、装置、电子设备及存储介质

说明书

本公开提供了一种跨模态的视频文本匹配方法、装置、电子设备及存储介质，涉及知识图谱、自然语言处理等人工智能技术领域，可应用于智能内容生成AIGC、智能创作等场景。具体实现方案为：将目标文本输入预训练的匹配模型，提取目标文本特征以生成目标文本特征序列；将候选视频输入所述匹配模型，提取候选图像特征以生成候选图像特征序列；确定目标文本特征和候选图像特征的相似度，根据所述相似度从所述候选视频中确定推荐视频。本公开实施例可以通过提取候选图像特征和目标文本特征，根据相似度从所述候选视频中确定推荐视频，实现了对文本和视频的匹配。本公开实施例可以避免为文本和视频的错误匹配，提高文本视频匹配的准确度。

技术领域

本公开涉及知识图谱、自然语言处理等人工智能技术领域，可应用于智能内容生成AIGC、智能创作等场景。

背景技术

近年来，随着软硬件技术的快速发展，视频成为信息传递的主要方式之一。在很多视频应用场景中，比如短视频平台，需要用到视频检索技术，即输入文本返回符合对应文本内容的视频。常规的跨模态匹配集中于确定视频和文本之间在物体层面的匹配关系，考虑的因素较少，导致文本与匹配到的视频匹配度较低。

发明内容

本公开提供了一种用于跨模态的视频文本匹配方法、装置、电子设备及存储介质。

根据本公开的第一方面，提供了一种跨模态的视频文本匹配方法，包括：

将目标文本输入预训练的匹配模型，提取目标文本特征以生成目标文本特征序列；

将候选视频输入所述匹配模型，提取候选视频特征以生成候选图像特征序列；

确定所述目标文本特征序列中目标文本特征和所述候选图像特征序列中候选图像特征的相似度，根据所述相似度从所述候选视频中确定推荐视频。

可选的，所述将目标文本输入预训练的匹配模型，提取目标文本特征以生成目标文本特征序列，包括：

将所述目标文本切分为文本段，以生成目标文本段序列；

提取各个文本段对应的文本段特征向量，并根据所述文本段在所述目标文本段序列中的位置生成各个文本段的第一位置嵌入向量；

将所述文本段特征向量和所述第一位置嵌入向量相加后进行编码以生成目标文本特征，并根据所述目标文本特征生成所述目标文本特征序列。

可选的，所述将候选视频输入所述匹配模型，提取候选视频特征以生成候选图像特征序列，包括：

按预设的采样率从所述候选视频提取视频帧，以生成候选视频帧序列；

提取所述视频帧的表示向量，并根据所述视频帧在所述候选视频帧序列的位置生成位置特征向量；

将所述表示向量和所述位置特征向量相加后进行编码以生成所述候选图像特征，并根据所述候选图像特征生成所述候选图像特征序列。

可选的，所述确定所述目标文本特征序列中目标文本特征和所述候选图像特征序列中候选图像特征的相似度，包括：

将所述候选图像特征序列和所述目标文本特征序列中位置对应的候选图像特征和目标文本特征之间的余弦距离作为所述相似度。

可选的，所述根据所述相似度从所述候选视频中确定推荐视频，包括：

将相似度最高值对应的候选视频确定为所述推荐视频。

根据本公开的第二方面，提供了一种匹配模型训练方法，包括：

获取正例文本训练数据和所述正例文本训练数据对应的视频训练数据；

根据所述正例文本训练数据生成负例文本训练数据；