[发明专利]音视频同步方法、装置、计算设备及存储介质

说明书

本发明公开了一种音视频同步方法、装置、计算设备及存储介质。用户终端获取用户终端视频在同步校验时间的第一进度以及从同步校验时间对应的用户终端音频切片中提取音频特征码；服务端在服务端音频中查找与音频特征码匹配的第二进度，并计算第一进度与第二进度的第一进度差；用户终端计算用户终端音频在同步校验时间的第三进度与第二进度的第二进度差，并根据第一进度差以及第二进度差确定用户终端音频与视频的播放时差，以及利用该播放时差进行用户终端音频与用户终端视频的同步处理。本方案并未对音频及视频进行侵入性的信息写入，由此保障音频及视频的源数据的安全；本方案在视频介质发生改变之后，无需重新对视频或音频进行处理。

技术领域

本发明涉及多媒体数据处理技术领域，具体涉及一种音视频同步方法、装置、计算设备及存储介质。

背景技术

随着科技及社会的不断发展，各类多媒体资源的出现极大方便了人们的工作与生活。例如，音视频多媒体资源能够为人们提供视觉及声觉体验，从而被广泛应用于各类场景中。

音视频多媒体资源融合有音频及视频，然而由于网络等因素的影响通常会存在音频与视频播放不同步的情况。针对于该类情况，现有技术中采用了为视频帧或音频添加编号，然后通过音频或视频与编号对齐的方式实现音视频的同步，然而采用该种方式需要将编号写入音频或视频，由此造成了对音频或视频源数据的侵入，并且无法处理加密视频；另外，现有技术中还采用音视频pts时间戳对齐的方式实现音视频的同步，然而采用该种方式在视频介质变化后，需要重新进行处理。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的音视频同步方法、装置、计算设备及存储介质。

根据本发明的第一方面，提供了一种音视频同步方法，包括：

获取用户终端视频在同步校验时间的第一进度，以及从同步校验时间对应的用户终端音频切片中提取音频特征码；

将所述第一进度以及所述音频特征码发送至服务端，以供所述服务端在服务端音频中查找与所述音频特征码匹配的第二进度，并计算所述第一进度与所述第二进度的第一进度差；

计算用户终端音频在同步校验时间的第三进度与所述第二进度的第二进度差；

接收服务端发送的所述第一进度差，并根据所述第一进度差以及所述第二进度差确定用户终端音频与用户终端视频的播放时差，并利用所述播放时差进行用户终端音频与用户终端视频的同步处理。

在一种可选的实施方式中，所述从同步校验时间对应的用户终端音频切片中提取音频特征码进一步包括：

将所述用户终端音频切片进行N进制化处理，以生成所述用户终端音频切片的N进制文件；

从所述N进制文件中提取出连续M个字符作为所述音频特征码；其中，所述音频特征码在所述N进制文件中具有唯一性。

在一种可选的实施方式中，所述计算用户终端音频在同步校验时间的第三进度与所述第二进度的第二进度差进一步包括：

确定所述音频特征码在所述用户终端音频切片的N进制文件的第一位置，以及确定所述第三进度对应的所述用户终端音频切片的N进制文件的第二位置；

根据所述第一位置、所述第二位置以及所述用户终端音频切片的切片时长计算所述第二进度差。

在一种可选的实施方式中，在所述利用所述播放时差进行用户终端音频与用户终端视频的同步处理之后，所述方法还包括：

从用户终端音频中提取目标指纹进度对应的音频指纹，以及从用户终端视频中提取目标指纹进度对应的视频指纹；

查找预先构建的指纹映射表；其中，所述指纹映射表中包含有音频指纹与视频指纹的映射关系，具有映射关系的音频指纹与视频指纹对应于同一指纹进度；