[发明专利]音频视频同步处理方法及装置

说明书

技术领域

本发明涉及数据处理方法及装置，尤其涉及一种音频视频同步处理方法及装置。

背景技术

通常为进行媒体播放，音频样本流和视频样本流这两路数据流分别输入音频编码器和视频编码器进行编码，得到音频编码数据和视频编码数据，然后把这两路编码数据发送给文件合成器进行文件格式合成。在这个过程中，音频视频不同步是困扰播放的一个主要问题，导致音频视频不同步的原因可能是音频样本流和视频样本流分别输入音频编码器和视频编码器之前，并没有进行交织，或者没有进行正确的交织，导致文件合成不正确，引起音频视频不同步。还有，编码后，由于编码器消耗样本与交织样本不同步，导致文件合成不正确，同样会引起音频视频播放不同步。

发明内容

本发明要解决的技术问题在于针对现有技术中交织不正确导致音频视频不同步的缺陷，提供一种音频视频同步处理方法及装置。

本发明解决其技术问题所采用的技术方案是：提供了一种音频视频同步处理方法，包括：

接收步骤，用于接收音频样本和视频样本；

编码步骤，用于分别对接收的所述音频样本和视频样本进行编码以形成编码后音频样本和编码后视频样本，并输出包括所述编码后音频样本和编码后视频样本的编码后音频视频队列；以及

文件合成步骤，用于将所述编码后音频样本和编码后视频样本合成文件以输出；

其中，所述编码步骤与所述文件合成步骤之间还包括编码后交织步骤，用于基于所述编码后视频样本的视频帧率对所述编码后音频样本和编码后视频样本进行交织以形成编码后交织队列供文件合成。

在依据本发明实施例的音频视频同步处理方法中，所述编码后交织步骤进一步包括：

分别采集所述编码后音频视频队列中的每一帧所述编码后音频样本和每一帧编码后视频样本消耗的字节数，以分别获得每一帧所述编码后音频样本的持续时长和每一帧所述编码后视频样本的持续时长；以及

基于每一帧所述编码后音频样本的持续时长和每一帧所述编码后视频样本的持续时长对所述编码后音频视频队列中的所述编码后音频样本和编码后视频样本进行交织以获得编码后交织队列，其中所述编码后交织队列中任一帧编码后视频样本的持续时长与其对应的一帧编码后音频样本的持续时长之差小于或等于预设阈值。

在依据本发明实施例的音频视频同步处理方法中，所述编码后交织步骤进一步包括：

当所述编码后音频视频队列中的任一帧编码后视频样本的持续时长与k帧编码后音频样本的持续时长之和的差小于或等于所述预设阈值时，其中k为大于或等于1的自然数，则编码后交织队列中该帧编码后视频样本对应的一帧编码后音频样本由所述编码后音频视频队列中该k帧编码后音频样本组成。

在依据本发明实施例的音频视频同步处理方法中，所述预设阈值为0.01秒。

在依据本发明实施例的音频视频同步处理方法中，所述编码后交织队列中任一帧编码后视频样本的持续时长与其对应的一帧编码后音频样本的持续时长相等。

在依据本发明实施例的音频视频同步处理方法中，所述接收步骤与所述编码步骤之间还包括编码前交织步骤，用于基于接收的所述视频样本的视频帧率对接收的所述音频样本和视频样本进行交织以形成编码前交织队列。

在依据本发明实施例的音频视频同步处理方法中，在所述编码前交织步骤中，按下列公式：

nBitA＝nChannel×nSampleRate×nBit*(1/nFramerate)/8

计算所述编码前交织队列中任一帧视频样本对应的一帧音频样本内包含的字节数nBitA，其中，nChannel为所述音频样本的声道个数，nSamplerate为所述音频样本的采样率，nBit为每个所述音频样本的量化比特数，nFramerate为所述视频样本的视频帧率。

本发明还提供了一种音频视频同步处理装置，包括：

接收装置，用于接收音频样本和视频样本；

编码装置，用于分别对接收的所述音频样本和视频样本进行编码以形成编码后音频样本和编码后视频样本，并输出包括所述编码后音频样本和编码后视频样本的编码后音频视频队列；以及

文件合成装置，用于将所述编码后音频样本和编码后视频样本合成文件以输出；

其中，所述音频视频同步处理装置还包括编码后交织装置，用于基于所述编码后视频样本的视频帧率对所述编码后音频样本和编码后视频样本进行交织以形成编码后交织队列供文件合成。

在依据本发明实施例的音频视频同步处理装置中，所述编码后交织装置进一步用于：