[发明专利]一种音视频数据同步的方法和装置

权利要求书

1.一种音视频数据同步的方法，其特征在于如下步骤： 

步骤1.发送端将一帧音频采集数据传送给G.729音频编码器进行编码，输出编码音频帧，发送端同时将视频采集数据传送给H.264视频编码器进行编码，帧率设置为f帧/s，生成编码视频帧。 

步骤2.发送端将编码音频帧和视频帧分别打包成RTP数据包，并为每个数据包打上时间戳。 

步骤3.接收端接收到所述的RTP数据包后，从RTP数据包中解析出音频帧和数据帧，存入解码缓冲区中，并按照时间戳对音频帧和视频帧进行快速排序。 

步骤4.获取发送端发送的第一个SR数据包中的<RTP时间戳、绝对时间>对，并根据<RTP时间戳、绝对时间>对计算出音频帧和视频帧对应的绝对时间。 

步骤5.音频线程从解码缓冲区中取出音频帧进行解码播放，将正在播放音频帧的时间戳作为同步参考时钟，若视频帧的绝对时间与音频帧的绝对时间的差值大于设定的上限值，则视频线程重复播放该视频帧若干次。若视频帧的绝对时间与音频帧的绝对时间的差值小于设定的下限值，则跳过若干视频帧后再播放。若视频帧的绝对时间与音频帧的绝对时间的差值位于设定的阈值内，则立即播放该视频帧。 

2.如权利要求1所述的方法，其特征在于： 

步骤2将整数个编码音频帧打包成一个RTP数据包，整数个音频帧的长度小于MTU。 

步骤2将编码视频帧分成若干个NAL单元，根据NAL单元的类型和大小进行打包， 

若NAL单元类型为SPS、PPS参数集，将参数集NAL单元组合在一个RTP数据包中； 

否则，若NAL单元大小小于MTU，将该NAL单元打包成一个RTP数据包； 

否则，若NAL单元大小大于MTU，将该NAL单元按照RFC3984协议分片打包成多个RTP数据包。 

3.如权利要求1所述的方法，其特征在于： 

步骤3所述发送端将音频帧打包成RTP数据包后，RTP数据包的时间戳只对应包中第一个音频帧。 

步骤3所述发送端将视频帧打包成RTP数据包后，RTP数据包的时间戳只对应第一个NAL单元，且同一帧内的RTP数据包打上相同的时间戳。 

4.如权利要求1所述的方法，其特征在于： 

步骤4所述的音频帧的RTP时间戳通过ntp_a＝ntp_sr+(ts_a-ts_sr)/K映射到NTP绝对时间，其中<ts_sr，ntp_sr>为SR包中的<RTP时间戳，NTP绝对时间>，<ts_a，ntp_a>为音频帧的<RTP时间戳，NTP绝对时间>，K为音频数据的采样频率。 

步骤4所述的视频帧的RTP时间戳通过ntp_v＝ntp_sr+(ts_v-ts_sr)/K映射到NTP绝对时间，其中<ts_sr，ntp_sr>为SR包中的<RTP时间戳，NTP绝对时间>，<ts_V，ntp_v>为视频帧的<RTP时间戳，NTP绝对时间>，K为视频数据的采样频率。 

5.如权利要求1所述的方法，其特征在于： 

步骤5所述的重复播放当前视频帧的次数或跳过视频帧的帧数由视频帧的绝对时间与音频帧的绝对时间的差值与视频帧帧率的比值，即(ntp_v-ntp_a)/f来确定，其中ntp_v为视频帧的绝对时间，ntp_a为音频帧的绝对时间，f为视频帧的帧率。 

6.一种音视频数据同步的发送装置，其特征在于，包括： 

打包模块，用于将音频数据和视频数据打包成RTP数据包，并为RTP数据包打上时间戳。 

发送模块，用于将所述的RTP数据包发送出去。 

7.如权利要求6所述的装置，其特征在于，所述的打包模块包括音频打包模块和视频打包模块，其中： 

音频打包模块，用于将整数个编码音频帧打包成一个RTP数据包，整数个音频帧的长度小于MTU。 

视频打包模块，用于将编码视频帧分成若干个NAL单元，根据NAL单元的类型和大小进行打包。 

8.一种音视频数据同步的接收装置，其特征在于，包括： 

解析模块，接收到RTP数据包后，从数据包中解析出音频帧和视频帧，以及各个帧的时间戳，并对音频帧和视频帧按照时间戳进行排序。 

同步处理模块，用于将音频帧和视频帧的RTP时间戳映射到NTP绝对时间，使用当前播放的音频帧的绝对时间作为参考时钟，同步视频帧到音频帧上。