[发明专利]一种音视频数据同步的方法和装置

说明书

技术领域

本发明涉及多媒体通信技术领域，特别涉及一种音视频数据同步的方法和装置。

背景技术

RTP实时传输协议用于音视频数据的实时传输，RTP数据包中的时间戳对应了RTP数据包中第一个样本数据的采样时间。在实时传输过程中，音频数据和视频数据往往是分开传输的，这样增加了接收端的音视频同步播放的难度。由于RTP时间戳的初始值是随机的，所以无法根据RTP时间戳实现音视频之间的精确同步。基于RTCP协议的发送端将周期性地发送SR包给接收端，SR包中包含了一个32比特的RTP时间戳和64位的NTP绝对时间，NTP绝对时间属于全网同步时钟，根据SR包中的<NTP时间，RTP时间戳>把音频帧和视频帧的RTP时间戳映射到NTP绝对时间，然后根据绝对时间实现音视频之间的精确同步。

发明内容

本发明的目的是针对现有技术的不足，提供一种音视频数据同步的方法和装置。

为了解决上述技术问题，本发明提出了一种音视频数据同步的方法，包括如下步骤：

步骤1.发送端将一帧音频采集数据传送给G.729音频编码器进行编码，输出编码音频帧，发送端同时将一帧视频采集数据传送给H.264视频编码器进行编码，帧率设置为f帧/s，生成编码视频帧。

步骤2.发送端将编码音频帧和视频帧分别打包成RTP数据包，并为每个数据包打上时间戳。

步骤3.接收端接收到所述的RTP数据包后，从RTP数据包中解析出音频帧和数据帧，存入解码缓冲区中，并按照时间戳对音频帧和视频帧进行快速排序。

步骤4.获取发送端发送的第一个SR数据包中的<RTP时间戳、绝对时间>对，并根据<RTP时间戳、绝对时间>对计算出音频帧和视频帧对应的绝对时间。

步骤5.音频线程从解码缓冲区中取出音频帧进行解码播放，将正在播放音频帧的时间戳作为同步参考时钟，若视频帧的绝对时间与音频帧的绝对时间的差值大于设定的上限值，则视频线程重复播放该视频帧若干次。若视频帧的绝对时间与音频帧的绝对时间的差值小于设定的下限值，则跳过若干视频帧后再播放。若视频帧的绝对时间与音频帧的绝对时间的差值位于设定的阈值内，则立即播放该视频帧。

作为本发明的进一步改进，步骤2所述的音视频打包方法具有如下特征：

步骤2将整数个编码音频帧打包成一个RTP数据包，整数个音频帧的长度小于MTU。

步骤2将编码视频帧分成若干个NAL单元，根据NAL单元的类型和大小进行打包，

若NAL单元类型为SPS、PPS参数集，将参数集NAL单元组合在一个RTP数据包中；

否则，若NAL单元大小小于MTU，将该NAL单元打包成一个RTP数据包；

否则，若NAL单元大小大于MTU，将该NAL单元按照RFC3984协议分片打包成多个RTP数据包；

作为本发明的进一步改进，步骤3所述的时间戳具有如下特征：

步骤3所述发送端将音频帧打包成RTP数据包后，RTP数据包的时间戳只对应包中第一个音频帧。

步骤3所述发送端将视频帧打包成RTP数据包后，RTP数据包的时间戳只对应第一个NAL单元，且同一帧内的RTP数据包打上相同的时间戳。

作为本发明的进一步改进，步骤4所述的NTP绝对时间的计算方法如下：

步骤4所述的音频帧的RTP时间戳通过ntp_a＝ntp_sr+(ts_a-ts_sr)/K映射到NTP绝对时间，其中<ts_sr，ntp_sr>为SR包中的<RTP时间戳，NTP绝对时间>，<ts_a，ntp_a>为音频帧的<RTP时间戳，NTP绝对时间>，K为音频数据的采样频率。

步骤4所述的视频帧的RTP时间戳通过ntp_v＝ntp_sr+(ts_v-ts_sr)/K映射到NTP绝对时间，其中<ts_sr，ntp_sr>为SR包中的<RTP时间戳，NTP绝对时间>，<ts_V，ntp_v>为视频帧的<RTP时间戳，NTP绝对时间>，K为视频数据的采样频率。

作为本发明的进一步改进，步骤5所述的重复播放当前视频帧的次数或跳过视频帧的帧数的计算方法如下：

步骤5所述的重复播放当前视频帧的次数或跳过视频帧的帧数由视频帧的绝对时间与音频帧的绝对时间的差值与视频帧帧率的比值，即(ntp_v-ntp_a)/f来确定，其中ntp_v为视频帧的绝对时间，ntp_a为音频帧的绝对时间，f为视频帧的帧率。