[发明专利]多媒体数据搜索方法及装置、计算机设备和介质

权利要求书

1.一种多媒体数据搜索方法，包括：

获取待搜索多媒体数据，其中，所述待搜索多媒体数据包括在时间上同步的待搜索视频和待搜索音频；

基于所述待搜索音频的声音特征在时域的变化，根据预设规则，从所述待搜索多媒体数据的待搜索视频中提取第一关键帧序列；

获取多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，其中，每一个候选多媒体数据的第二关键帧序列根据所述预设规则提取得到；以及

基于所述第一关键帧序列，以及所述多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，确定所述多个候选多媒体数据中与所述待搜索多媒体数据相匹配的多媒体数据。

2.根据权利要求1所述的方法，其中，所述基于所述待搜索音频的声音特征在时域的变化，根据预设规则，从所述待搜索多媒体数据的待搜索视频中提取第一关键帧序列包括：

基于所述待搜索音频的声音特征在时域的变化，确定所述待搜索多媒体数据中的至少一个静音时段；以及

针对所述至少一个静音时段中每一个静音时段，将所述待搜索视频中靠近该静音时段的至少一个视频帧确定为第一关键帧，以构成所述第一关键帧序列。

3.根据权利要求2所述的方法，其中，所述基于所述待搜索音频的声音特征在时域的变化，确定所述待搜索多媒体数据中的至少一个静音时段包括：

基于所述待搜索音频的声音特征在时域的变化，利用语音边界检测(VAD)识别所述待搜索多媒体数据中的至少一个静音时段。

4.根据权利要求2所述的方法，其中，所述声音特征包括能量值，基于所述待搜索音频的能量值在时域的变化，确定所述待搜索多媒体数据中的至少一个静音时段包括：

针对所述待搜索多媒体数据的时长范围内的任一时间段，响应于在该时间段内所述待搜索音频的能量值不大于第一预设能量阈值，并且在靠近该时间段的时间点所述待搜索音频的能量值大于第二预设能量阈值，将该时间段确定为所述待搜索多媒体数据中的静音时段，其中，所述第一预设能量阈值不大于所述第二预设能量阈值。

5.根据权利要求1所述的方法，其中，所述基于所述待搜索音频的声音特征在时域的变化，根据预设规则，从所述待搜索多媒体数据的待搜索视频中提取第一关键帧序列包括：

基于所述待搜索音频的声音特征在时域的变化，对所述待搜索音频进行语音识别；

响应于对所述待搜索音频的语音识别结果中包括预设字符，将所识别出的预设字符在所述待搜索音频中所对应的时间点确定为关键时间点；以及

基于所确定的关键时间点，从所述待搜索视频中提取第一关键帧序列。

6.根据权利要求1所述的方法，其中，所述基于所述第一关键帧序列，以及所述多个候选多媒体数据中每一个候选多媒体数据所对应的第二关键帧序列，确定所述多个候选多媒体数据中与所述待搜索多媒体数据相匹配的多媒体数据包括：

针对所述多个候选多媒体数据中每一个候选多媒体数据，响应于该候选多媒体数据所对应的第二关键帧序列与所述第一关键帧序列满足预设匹配条件，确定该候选多媒体数据为与所述待搜索多媒体数据相匹配的多媒体数据。

7.根据权利要求6所述的方法，其中，所述该候选多媒体数据所对应的第二关键帧序列与所述第一关键帧序列满足预设匹配条件包括：

针对所述第二关键帧序列中预设长度的第二子序列，所述第一关键帧序列中存在与所述第二子序列相应的所述预设长度的第一子序列，其中，所述第二子序列与所述第一子序列之间依次对应的每两帧之间的相似度大于预设阈值。

8.根据权利要求1所述的方法，还包括：

针对所述多个候选多媒体数据中每一个候选多媒体数据，基于所述预设规则，预先从该候选多媒体数据中提取该候选多媒体数据所对应的第二关键帧序列。

9.根据权利要求1所述的方法，还包括：

在确定所述多个候选多媒体数据中与所述待搜索多媒体数据相匹配的多媒体数据之后，反馈基于所确定的与所述待搜索多媒体数据相匹配的多媒体数据的页面信息。