[发明专利]基于不同参考时钟的音视频同步方法、装置和计算机设备

说明书

本申请涉及一种基于不同参考时钟的音视频同步方法、装置和计算机设备，包括接收音频帧，并计算音频帧的第一时间戳；以及接收视频帧，并计算视频帧的第二时间戳，以使第一时间戳和第二时间戳对齐；计算第一时间戳和第二时间戳之间的第一偏移量；根据第一偏移量对视频帧的第二时间戳进行校正，以生成音频帧和视频帧的时间戳交错递增的音视频序列。上述方法通过对音视频帧的时间戳进行对齐处理，然后根据相邻音视频时间戳之间的偏移量对视频帧的时间戳进行校正，以加快或减慢视频帧的播放速度，从而使音频帧和视频帧的时间戳交错均匀递增排列，解决了基于不同参考时钟音视频播放不同步的问题。

技术领域

本申请涉及流媒体技术领域，特别是涉及一种基于不同参考时钟的音视频同步方法、装置和计算机设备。

背景技术

目前音视频同步的方法主要是播放端根据音视频时间戳pts，以某个基准时钟为参考来控制音频和视频的播放速度，从而达到音视频同步的效果。采用上述方法使音视频保持同步播放的前提是要求音视频编码端在编码时，生成的时间戳pts必须使用同一个参考时钟。但是通常情况下，视频和音频的采集来源不同，视频来源通常为摄像机采集信号，音频来源通常为麦克风音频信号，音频和视频编码是在两个不同系统下完成的，从而导致视频和音频的时间戳pts采用了不同的参考时钟，进一步会导致播放端无法正确的根据时间戳pts对音频和视频的播放速度进行同步控制，在客户端会出现视频画面和音频播放不匹配的问题。

发明内容

本申请提供一种基于不同参考时钟的音视频同步方法、装置和计算机设备，以至少解决相关技术中在基于不同参考时钟的情况下出现音视频播放不同步的问题。

第一方面，本申请实施例提供了一种基于不同参考时钟的音视频同步方法，所述方法包括：

接收音频帧，并计算所述音频帧的第一时间戳；以及接收视频帧，并计算所述视频帧的第二时间戳，以使所述第一时间戳和所述第二时间戳对齐；

计算所述第一时间戳和所述第二时间戳之间的第一偏移量；

根据所述第一偏移量对所述视频帧的第二时间戳进行校正，以生成音频帧和视频帧的时间戳交错递增的音视频序列。

在其中一些实施例中，所述接收音频帧，并计算所述音频帧的第一时间戳包括：

若所述音频帧为接收到的第一帧音频帧，则设置所述音频帧的第一时间戳为0；

否则，根据所述音频帧的长度计算得到所述音频帧的播放时长；

计算上一帧音频帧的第一时间戳与所述播放时长的和，并将所述和作为所述音频帧的第一时间戳。

在其中一些实施例中，所述接收视频帧，并计算所述视频帧的第二时间戳包括：

若所述视频帧为接收到的第一帧视频帧，则设置所述视频帧的第二时间戳为0；

否则，计算所述视频帧的时间戳与上一帧视频帧的时间戳的第二偏移量，并将所述第二偏移量作为所述第二时间戳的累加基准值。

在其中一些实施例中，所述根据所述第一偏移量对所述视频帧的第二时间戳进行校正包括：

若所述第一偏移量大于偏移量阈值，则根据所述第一偏移量计算所述视频帧的校正系数；

根据所述校正系数、所述第一时间戳、所述第二时间戳以及所述累加基准值，计算所述视频帧的累加目标值；

根据所述累加目标值对所述视频帧的第二时间戳进行校正。

在其中一些实施例中，所述根据所述第一偏移量计算所述视频帧的校正系数包括：

设置校正视频帧的帧数；

根据所述第一偏移量和所述校正视频帧的帧数，计算所述视频帧的校正系数。