[发明专利]多媒体数据搜索方法及装置、计算机设备和介质

说明书

本公开提供了一种多媒体数据搜索方法及装置、计算设备和介质，涉及人工智能技术领域，具体涉及智能搜索领域。实现方案为：获取待搜索多媒体数据，待搜索多媒体数据包括在时间上同步的待搜索视频和待搜索音频；基于待搜索音频的声音特征在时域的变化，根据预设规则，从待搜索多媒体数据的待搜索视频中提取第一关键帧序列；获取多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，每一个候选多媒体数据的第二关键帧序列根据该预设规则提取得到；以及基于第一关键帧序列，以及多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，确定多个候选多媒体数据中与待搜索多媒体数据相匹配的多媒体数据。

技术领域

本公开涉及人工智能技术领域，尤其涉及智能搜索领域。具体涉及一种多媒体数据搜索的方法、装置、电子设备、计算机可读存储介质和计算机程序产品。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术：人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

多媒体相较于文本、图像等信息传播媒介可以提供更丰富的信息内容。在一些场景中，用户希望通过搜索来获取其需要的多媒体数据。现有的多媒体数据搜索方法通常是基于文本的搜索，即，通过匹配用户输入的搜索词与多媒体数据库中的各个多媒体数据的文本标签来得到搜索结果。这种搜索方式与多媒体数据本身的内容无关，仅依赖于用户输入的搜索词和多媒体数据标签标注的准确性，搜索结果通常难以令用户满意。

在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

发明内容

本公开提供了一种多媒体数据搜索的方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。

根据本公开的一方面，提供了一种多媒体数据搜索方法，包括：获取待搜索多媒体数据，其中，待搜索多媒体数据包括在时间上同步的待搜索视频和待搜索音频；基于待搜索音频的声音特征在时域的变化，根据预设规则，从待搜索多媒体数据的待搜索视频中提取第一关键帧序列；获取多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，其中，每一个候选多媒体数据的第二关键帧序列根据该预设规则提取得到；以及基于第一关键帧序列，以及多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，确定多个候选多媒体数据中与待搜索多媒体数据相匹配的多媒体数据。

根据本公开的另一方法，提供了一种多媒体数据搜索装置，包括：第一获取单元，被配置用于获取待搜索多媒体数据，其中，待搜索多媒体数据包括在时间上同步的待搜索视频和待搜索音频；第一提取单元，被配置用于基于待搜索音频的声音特征在时域的变化，根据预设规则，从待搜索多媒体数据的待搜索视频中提取第一关键帧序列；第二获取单元，被配置用于获取多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，其中，每一个候选多媒体数据的第二关键帧序列根据预设规则提取得到；以及确定单元，被配置用于基于第一关键帧序列，以及多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，确定多个候选多媒体数据中与待搜索多媒体数据相匹配的多媒体数据。

根据本公开的另一方面，提供了一种计算机设备，包括：存储器、处理器以及存储在存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现上述方法的步骤。

根据本公开的另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述的方法的步骤。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时实现上述的方法的步骤。