[发明专利]一种图像与文本联合嵌入的多模态文化资源加工方法

摘要

一种图像与文本联合嵌入的多模态文化资源加工方法，包括以下步骤：对从开源或网络搜集的文化资源库中获取的图像‑文本对其中的图像进行目标检测，得到目标区域位置和目标类别名称，建立图像文本联合嵌入模型，使用联合嵌入模型中的各个模块获取目标区域特征、全图特征和文本特征，并在训练中对齐目标区域与文本中的单词，同时对齐整体图像文本特征。本发明综合文本和图像信息，并对其进行联合嵌入，能够有效融合多个模态的特征并用于多模态文化资源的特征提取和有效检索。