[发明专利]多媒体资源处理方法、装置、电子设备及存储介质

说明书

本申请涉及一种多媒体资源处理方法、装置、电子设备及存储介质。该方法包括：获取待搜索的第一文本信息和多个多媒体资源；分别对各多媒体资源中包括的第二文本信息和图像帧进行文本编码与图像编码，得到各多媒体资源的第二文本特征和图像特征；对各多媒体资源的第二文本特征和图像特征进行跨模态特征融合处理，得到各多媒体资源对应的多模态特征；对多模态特征和第一文本特征(第一文本信息对应的文本特征)进行特征相关性处理，确定多个多媒体资源各自与第一文本信息的相关性信息；根据相关性信息，从多个多媒体资源中筛选出与第一文本信息匹配的目标多媒体资源。根据本申请的技术方案，可以提升多媒体资源的搜索精度。

技术领域

本申请涉及计算机视觉技术领域，尤其涉及一种多媒体资源处理方法、装置、电子设备及存储介质。

背景技术

多媒体资源的搜索(比如短视频的搜索等)与一般新闻、资讯等文本搜索一样，都是先输入搜索词query，搜索引擎后台根据预先建立好的文本索引(比如多媒体资源的标题、标签及简介等文本字段)召回一系列包含该query词的候选文档集合。进而再通过计算query和候选文档集合的文本相关性得分来对这些候选文档进行排序。这种搜索方式只用到了文本相关性特征，即只考虑搜索query和多媒体资源的标题等的文本相关性，在多媒体资源的标题等文本较短或者语义与视频内容本身差异较大的情况下，导致搜索精度较差。

发明内容

有鉴于上述存在的技术问题，本申请提出了多媒体资源处理方法、装置、电子设备及存储介质。

根据本申请的一方面，提供了一种多媒体资源处理方法，包括：

获取待搜索的第一文本信息和多个多媒体资源；

分别对各多媒体资源中包括的第二文本信息和图像帧进行文本编码与图像编码，得到各多媒体资源的第二文本特征和图像特征；

对各多媒体资源的第二文本特征和图像特征进行跨模态特征融合处理，得到各多媒体资源对应的多模态特征；

对所述多模态特征和第一文本特征进行特征相关性处理，确定所述多个多媒体资源各自与所述第一文本信息的相关性信息，所述第一文本特征为所述第一文本信息对应的文本特征；所述相关性信息表征各多媒体资源的内容与所述第一文本信息的匹配度；

根据所述相关性信息，从所述多个多媒体资源中筛选出与所述第一文本信息匹配的目标多媒体资源。

根据本申请的另一方面，提供了一种多媒体资源处理装置，包括：

获取模块，用于获取待搜索的第一文本信息和多个多媒体资源；所述多个多媒体资源为所述第一文本信息对应的召回多媒体资源；

编码模块，用于分别对各多媒体资源中包括的第二文本信息和图像帧进行文本编码与图像编码，得到各多媒体资源的第二文本特征和图像特征；

多模态处理模块，用于对各多媒体资源的第二文本特征和图像特征进行跨模态特征融合处理，得到各多媒体资源对应的多模态特征；

相关性预测模块，用于对所述多模态特征和第一文本特征进行特征相关性处理，确定所述多个多媒体资源各自与所述第一文本信息的相关性信息，所述第一文本特征为所述第一文本信息对应的文本特征；所述相关性信息表征各多媒体资源的内容与所述第一文本信息的匹配度；

目标多媒体资源确定模块，用于根据所述相关性信息，从所述多个多媒体资源中筛选出与所述第一文本信息匹配的目标多媒体资源。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。