[发明专利]一种影音对齐方法、装置、设备及存储介质

说明书

本申请公开了一种影音对齐方法、装置、设备及存储介质，其中，所述方法包括：获取影音对齐指令，所述影音对齐指令用于对齐视频中至少一个目标物体与所述目标物体的音频；响应于所述影音对齐指令，对所述视频的至少一帧图像进行编码处理，得到所述至少一帧图像对应的图像特征，所述图像特征包括所述视频中至少一个目标物体的目标图像特征；对所述至少一帧图像对应的音频进行编码处理，得到所述至少一帧图像对应的音频特征，所述音频特征包括所述至少一个目标物体的目标音频特征；对至少一个所述目标图像特征和至少一个所述目标音频特征进行相似度比对，得到所述图像中少一个所述目标物体对应的目标音频。

技术领域

本申请实施例涉及人工智能领域，涉及但不限于一种影音对齐方法、装置、设备及存储介质。

背景技术

播放视频文件的情况下，用户无法针对视频画面中的某一个独立目标，包括人、动物和会发声的物理设备(电视、乐器)等，单独提取对应的音频。

发明内容

有鉴于此，本申请实施例提供一种影音对应方法、装置、设备及存储介质。

本申请实施例的技术方案是这样实现的：

第一方面，本申请实施例提供一种影音对齐方法，所述方法包括：

获取影音对齐指令，所述影音对齐指令用于对齐视频中至少一个目标物体与所述目标物体的音频；

响应于所述影音对齐指令，对所述视频的至少一帧图像进行编码处理，得到所述至少一帧图像对应的图像特征，所述图像特征包括所述视频中至少一个目标物体的目标图像特征；

对所述至少一帧图像对应的音频进行编码处理，得到所述至少一帧图像对应的音频特征，所述音频特征包括所述至少一个目标物体的目标音频特征；

对至少一个所述目标图像特征和至少一个所述目标音频特征进行相似度比对，得到所述图像中少一个所述目标物体对应的目标音频。

第二方面，本申请实施例提供一种影音对齐装置，所述装置包括：

获取模块，用于获取影音对齐指令，所述影音对齐指令用于对齐视频中至少一个目标物体与所述目标物体的音频；

第一编码模块，用于响应于所述影音对齐指令，对所述视频的至少一帧图像进行编码处理，得到所述至少一帧图像对应的图像特征，所述图像特征包括所述视频中至少一个目标物体的目标图像特征；

第二编码模块，用于对所述至少一帧图像对应的音频进行编码处理，得到所述至少一帧图像对应的音频特征，所述音频特征包括所述至少一个目标物体的目标音频特征；

比对模块，用于对至少一个所述目标图像特征和至少一个所述目标音频特征进行相似度比对，得到所述图像中少一个所述目标物体对应的目标音频。

第三方面，本申请实施例提供一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

第四方面，本申请实施例提供一种存储介质，存储有可执行指令，用于处理器执行时，实现上述方法。

本申请实施例中，首先获取影音对齐指令，所述影音对齐指令用于对齐视频中至少一个目标物体与所述目标物体的音频；然后响应于所述影音对齐指令，对所述视频的至少一帧图像进行编码处理，得到所述至少一帧图像对应的图像特征，所述图像特征包括所述视频中至少一个目标物体的目标图像特征；对所述至少一帧图像对应的音频进行编码处理，得到所述至少一帧图像对应的音频特征，所述音频特征包括所述至少一个目标物体的目标音频特征；最后对至少一个所述目标图像特征和至少一个所述目标音频特征进行相似度比对，得到所述图像中少一个所述目标物体对应的目标音频。这样，可以针对视频中的至少一个目标物体，实现提取该目标物体对应的音频。

附图说明