[发明专利]音视频同步的方法、装置、电子设备及存储介质

说明书

本发明公开了一种音视频同步的方法、装置、电子设备及存储介质。其中，该同步的方法包括步骤：获取编码后的音视频数据以及所述音视频数据的基本信息；根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧；在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧；根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。本发明通过比对时间戳与帧间间隔的关系，发现出现丢帧的位置，在丢帧的位置上补入视频帧或音频帧，强制使得视频数据与音频数据回到原来的轨道上，从而实现了视频数据与音频数据之间的同步，解决音视频数据在封装时候的同步问题。

技术领域

本发明涉及多媒体处理技术领域，尤其涉及一种音视频同步的方法、装置、电子设备及存储介质。

背景技术

在视频录播中，硬件的音视频采集卡同时采集原始音视频数据。由于采集到的原始视音频数据一般都比较大，所以要进一步送到编码器对原始视音频数据进行编码，然后封装成各种格式的文件，例如mp4文件。

通常地，音视频从采集、编码再到封装，一共经过了好几个不同的流程，对于每个流程，音视频都是分别单独处理，没有协调同步的机制。然而，实际情况下，音视频单独处理中的任何一个环节都可能出现错误，这些错误可能造成的一个结果就是：音视频之间不同步。如果直接对这些编码后的有错误的音视频进行封装，最终封装后的视频必然也会音视频不同步。

发明内容

本发明为克服上述现有技术所述的至少一种缺陷，本发明提供一种音视频同步的方法、装置、电子设备及存储介质。通过使用本发明的音视频同步的方法，能够解决音视频数据在封装时候的同步问题，本发明采用的技术方案如下。

第一方面，本发明提供一种音视频同步的方法，包括步骤：

获取编码后的音视频数据以及所述音视频数据的基本信息；

其中，所述基本信息包括：所述音视频数据中的视频数据的帧率、所述音

视频数据中的音频数据的采样率以及采集机器采集所述音视频数据时的时间戳；

根据所述帧率以及所述时间戳，判断所述视频数据是否有丢帧；

在所述视频数据有丢帧时，在发生丢帧的位置对所述视频数据补入视频帧；

根据所述采样率以及所述时间戳，判断所述音频数据是否有丢帧；

在所述音频数据有丢帧时，在发生丢帧的位置对所述音频数据补入音频帧。

在一种实施方式中，还包括步骤：

对所述视频数据和所述音频数据进行比较，得到音视频偏差；

根据所述音视频偏差，补入或丢弃视频帧和/或音频帧。

在一种实施方式中，在所述根据所述音视频偏差，补入或丢弃视频帧和/或音频帧的过程中，根据所述音视频偏差，补入或丢弃音频帧。

在一种实施方式中，补入的音频帧为空帧。

在一种实施方式中，补入的视频帧为补入位置的前一帧的视频帧。

第二方面，本发明提供一种音视频封装的方法，包括步骤：

采集原始音视频数据；

对所述原始音视频数据添加采集时的时间戳；

对所述原始音视频数据进行编码，得到编码后的音视频数据；

对所述编码后的音视频数据分开音频通道和视频通道，分别实时封装到格

式容器里面；