[发明专利]基于多模态信息的查询方法、装置、服务器、介质及产品

说明书

本申请公开了基于多模态信息的查询方法、装置、服务器、介质及产品，可应用于金融领域或其他领域。本申请在获得多模态信息后，若多模态信息包括视频，从视频中获取多帧目标视频图像，目标视频图像包含目标对象针对电子设备执行的动作；若多模态信息包括语音信息，从语音信息中获取目标语音片段，目标语音片段为目标对象针对电子设备发出的语音；基于目标多模态信息进行查询，由于目标多模态信息包括多帧目标视频图像、目标语音片段以及文本信息中的至少两种，不包括不是针对电子设备执行的动作和语音，所以基于目标多模态信息得到的目标知识点更加准确，即基于目标多模态信息查询得到的目标知识点是目标对象期望得到的命中结果。

技术领域

本申请涉及信息查询技术领域，更具体的说，是涉及基于多模态信息的查询方法、装置、服务器、介质及产品。

背景技术

随着自然语言处理技术的发展，智能查询，例如智能问答越来越普遍，例如，银行里面的智能机器人。目前对智能查询在信息的多模态上提出了更高的要求，因此基于多模态信息的查询应运而生，多模态信息包括：视频、语音和/或文本。

目前基于多模态信息进行查询得到的命中结果与用户期望得到的结果不一致。

发明内容

有鉴于此，本申请提供了一种基于多模态信息的查询方法、装置、服务器、介质及产品，以克服基于多模态信息进行查询得到的命中结果与用户期望得到的结果不一致的问题。

为实现上述目的，本申请提供如下技术方案：

根据本公开实施例的第一方面，提供一种基于多模态信息的查询方法，包括：

确定与电子设备进行交互的目标对象；

获取所述目标对象的多模态信息，所述多模态信息包括：包含所述目标对象执行的动作的视频、所述目标对象的语音信息以及所述目标对象在所述电子设备中输入的文本信息中的至少两种；

若所述多模态信息包括所述视频，从所述视频中获取多帧目标视频图像，所述目标视频图像包含所述目标对象针对所述电子设备执行的动作；

若所述多模态信息包括所述语音信息，从所述语音信息中获取目标语音片段，所述目标语音片段为所述目标对象针对所述电子设备发出的语音；

从知识库中查询与目标多模态信息相匹配的目标知识点，所述目标多模态信息包括所述多帧目标视频图像、所述目标语音片段以及所述文本信息中的至少两种，所述知识库包括多个知识点，每一所述知识点包括视频模态的知识、语音模态的知识以及文本模态的知识中的至少两种。

根据本公开实施例的第二方面，提供一种基于多模态信息的查询装置，包括：

第一确定模块，用于确定与电子设备进行交互的目标对象；

第一获取模块，用于获取所述目标对象的多模态信息，所述多模态信息包括：包含所述目标对象执行的动作的视频、所述目标对象的语音信息以及所述目标对象在所述电子设备中输入的文本信息中的至少两种；

第二获取模块，用于若所述多模态信息包括所述视频，从所述视频中获取多帧目标视频图像，所述目标视频图像包含所述目标对象针对所述电子设备执行的动作；

第三获取模块，用于若所述多模态信息包括所述语音信息，从所述语音信息中获取目标语音片段，所述目标语音片段为所述目标对象针对所述电子设备发出的语音；

查询模块，用于从知识库中查询与目标多模态信息相匹配的目标知识点，所述目标多模态信息包括所述多帧目标视频图像、所述目标语音片段以及所述文本信息中的至少两种，所述知识库包括多个知识点，每一所述知识点包括视频模态的知识、语音模态的知识以及文本模态的知识中的至少两种。

根据本公开实施例的第三方面，提供一种服务器，其特征在于，包括：

处理器；