[发明专利]基于多模态的视频检索方法、装置、电子设备及存储介质

摘要

本发明涉及智能决策领域及数字医疗领域，揭露一种基于多模态的视频检索方法、装置、电子设备以及存储介质，所述方法包括：查询待检索视频的多模态属性，选取多模态网络，提取待检索视频中的多模态特征；提取特征序列，构建特征序列的固定簇群，对固定簇群进行均值池化，得到池化簇群，根据所述池化簇群对特征序列进行定长对齐，得到对齐序列；提取特征维度，对维度长度进行对齐，得到对齐维度，根据对齐序列与对齐维度，确定多模态特征的对齐多模态特征；进行特征拼接与特征融合；对检索文本进行特征向量编码，计算余弦相似度，根据余弦相似度确定检索文本的视频检索结果。本发明可以实现视频的自动化索引及检索，提高整个视频检索流程的全面性。