[发明专利]基于多模态信息的查询方法、装置、服务器、介质及产品

权利要求书

1.一种基于多模态信息的查询方法，其特征在于，包括：

确定与电子设备进行交互的目标对象；

获取所述目标对象的多模态信息，所述多模态信息包括：包含所述目标对象执行的动作的视频、所述目标对象的语音信息以及所述目标对象在所述电子设备中输入的文本信息中的至少两种；

若所述多模态信息包括所述视频，从所述视频中获取多帧目标视频图像，所述目标视频图像包含所述目标对象针对所述电子设备执行的动作；

若所述多模态信息包括所述语音信息，从所述语音信息中获取目标语音片段，所述目标语音片段为所述目标对象针对所述电子设备发出的语音；

从知识库中查询与目标多模态信息相匹配的目标知识点，所述目标多模态信息包括所述多帧目标视频图像、所述目标语音片段以及所述文本信息中的至少两种，所述知识库包括多个知识点，每一所述知识点包括视频模态的知识、语音模态的知识以及文本模态的知识中的至少两种。

2.根据权利要求1所述基于多模态信息的查询方法，其特征在于，所述从所述视频中获取多帧目标视频图像步骤包括：

按照预设时间间隔顺序从所述视频中抽取，以得到多帧候选视频图像；

针对每一帧候选视频图像，获取聚焦区域图像以及所述目标对象在执行所述候选视频图像包含的动作时所述目标对象的人脸的朝向与所述电子设备的相对角度，所述聚焦区域图像包括在所述目标对象执行所述候选视频图像中的动作时所述目标对象的视线聚焦的对象；

针对每一帧候选视频图像，将所述候选视频图像、所述候选视频图像对应的所述聚焦区域图像以及所述候选视频图像对应的所述相对角度输入至预先构建的动作防干扰模型，通过所述动作防干扰模型获得所述候选视频图像的动作预测结果，所述动作预测结果为所述候选视频图像包含的动作是针对所述电子设备执行的动作或所述候选视频图像包含的动作不针对所述电子设备执行的动作；

将所述动作预测结果为候选视频图像包含的动作是针对所述电子设备执行的动作的候选图像确定为所述目标视频图像。

3.根据权利要求2所述基于多模态信息的查询方法，其特征在于，所述通过所述动作防干扰模型获得所述候选视频图像的动作预测结果步骤包括：

通过所述动作防干扰模型包含的特征信息提取模块提取所述候选视频图像、所述聚焦区域图像以及所述相对角度的特征，以得到特征向量；

通过所述动作防干扰模型包含的动作关联关系检测模块确定所述特征向量与前一个特征向量的向量相关度，所述前一个特征向量为与所述候选视频图像的时间相邻的前一帧候选视频图像的特征向量；

通过所述动作防干扰模型包含的结果预测模块基于所述特征向量、所述向量相关度以及所述前一帧候选视频图像的动作预测结果，确定所述候选视频图像的动作预测结果。

4.根据权利要求1至3任一所述基于多模态信息的查询方法，其特征在于，所述从所述语音信息中获取目标语音片段步骤包括：

从所述语音信息中获取多个语音片段；

获取多个所述语音片段分别对应的文本；

获取所述目标对象针对所述电子设备进行的前一轮询问包含的语音信息，以及，所述前一轮询问包含的所述电子设备回复的答复文本；

针对每一所述语音片段，将所述语音片段、所述语音片段对应的文本、所述前一轮询问包含的语音信息以及所述答复文本输入预先构建的语义相关检测模型，通过所述语义相关检测模型获取所述语音片段的语音预测结果，所述语音预测结果为所述语音片段与所述前一轮询问无关，或，所述语音片段与所述前一轮询问相关；

将所述语音预测结果为与所述前一轮询问相关的语音片段确定为所述目标语音片段。