[发明专利]基于多模态的视频检索方法、装置、电子设备及存储介质

说明书

本发明涉及智能决策领域及数字医疗领域，揭露一种基于多模态的视频检索方法、装置、电子设备以及存储介质，所述方法包括：查询待检索视频的多模态属性，选取多模态网络，提取待检索视频中的多模态特征；提取特征序列，构建特征序列的固定簇群，对固定簇群进行均值池化，得到池化簇群，根据所述池化簇群对特征序列进行定长对齐，得到对齐序列；提取特征维度，对维度长度进行对齐，得到对齐维度，根据对齐序列与对齐维度，确定多模态特征的对齐多模态特征；进行特征拼接与特征融合；对检索文本进行特征向量编码，计算余弦相似度，根据余弦相似度确定检索文本的视频检索结果。本发明可以实现视频的自动化索引及检索，提高整个视频检索流程的全面性。

技术领域

本发明涉及智能决策领域及数字医疗领域，尤其涉及一种基于多模态的视频检索方法、装置、电子设备及计算机可读存储介质。

背景技术

基于多模态的视频检索是指提取动态视频所包含的多模态特征，并根据这些多模态特征对视频进行分类，将视频与输入搜索文本进行匹配，从而实现输入文本到检索视频的过程。

目前，随着视频检索技术的兴起，人们通过输入一段简单的医疗相关的文字描述或者几个关键词，依此来寻找自己想要的医疗视频、养生视频等医疗视频检索的方式，可以支持疾病辅助诊断、健康管理等功能，传统的医疗视频检索方式通过人工对视频进行标记，根据医疗视频的内容打上合适的标题标签或内容描述等，在当今自媒体时代，这些信息通常由医生、医院等视频创作者在上传视频的同时添加，但是这种医疗视频的标题标签或医疗相关的描述信息有时也不能很好地完整概括视频中的医疗内容，由于一个小疾病就可能会涉及众多医学知识，因此在某些时候这些标题标签中的医疗信息甚至是缺失的，如视频作者自己并未添加描述信息，或者视频中医疗信息来自于网络等其他来源，这种依赖“硬标签”的检索方式并不能精确地完成检索任务。因此，由于医疗视频分类依靠人工打上标签实现，导致视频检索不够全面。

发明内容

本发明提供一种基于多模态的视频检索方法、装置、电子设备及计算机可读存储介质，其主要目的在于实现医疗视频的自动化索引及检索，提高整个医疗视频检索流程的全面性。

为实现上述目的，本发明提供的一种基于多模态的视频检索方法，包括：

获取待检索视频，查询所述待检索视频的多模态属性，选取所述多模态属性对应的多模态网络，利用所述多模态网络提取所述待检索视频中的多模态特征；

提取所述多模态特征的特征序列，构建所述特征序列的固定簇群，对所述固定簇群进行均值池化，得到池化簇群，根据所述池化簇群，对所述特征序列进行定长对齐，得到对齐序列；

提取所述多模态特征的特征维度，利用预先构建的多层感知机对所述特征维度的维度长度进行对齐，得到对齐维度；

根据所述对齐序列与所述对齐维度，确定所述多模态特征中的对齐多模态特征，对所述对齐多模态特征中的多个特征进行特征拼接，得到拼接多模态特征，利用全连接视觉网络对所述拼接多模态特征进行特征融合，得到融合多模态特征；

获取检索文本，对所述检索文本进行特征向量编码，得到编码文本向量，计算所述融合多模态特征与所述编码文本向量之间的余弦相似度，根据所述余弦相似度，确定所述检索文本的视频检索结果。

可选地，所述查询所述待检索视频的多模态属性，包括：

对所述待检索视频进行播放处理，得到播放视频；

对所述播放视频的视频要素进行完整性检验；

在所述播放视频的视频要素完整性检验成功时，确定所述待检索视频的多模态属性；

在所述播放视频的视频要素完整性检验失败时，提取所述视频完整性检验失败的视频失败部分；

根据所述视频失败部分，确定所述待检索视频的多模态属性。