[发明专利]传输流复用音视频时间同步方法

说明书

本发明提供了一种传输流复用音视频时间同步方法，包括：处理视频每一帧码流的DTS和PTS，使视频每一帧码流的DTS以视频帧的时间长度连续累计，使视频每一帧码流的PTS以视频帧的时间长度连续累计；处理音频每一帧码流的DTS和PTS，使音频每一帧码流的DTS以音频帧的时间长度连续累计，使音频每一帧码流的PTS以音频帧的时间长度连续累计；根据音频帧与视频帧时间同步情况，判断处理后的时间：若音频帧原始DTS与视频帧原始DTS之间的时间差小于第一阈值，则音视频帧处在同步状态，保持音视频时间一致调整；进入复用器进行复用。

技术领域

本发明涉及信号处理技术领域，特别涉及一种传输流复用音视频时间同步方法。

背景技术

MPEG-2标准可分为三部分：视频、音频和系统。上面所述的MPEG-2视频、音频编码是针对每一路电视信号的图像和伴音进行的。视频编码和音频编码部分输出的是视频或音频基本码流(称为ES流)。ES流再经过打包后输出的是包基本流(称为PES)。包基本流的包长度可变的，视频通常是一帧(即一幅图像)一个包；音频包长度通常为一个音频帧，不超过64KB。打包的视频、音频基本码流再经过复用打包，可形成两种不同的码流，即节目流(PS：Program Stream)和传输流(TS：Transport Stream)。节目流和传输流的码率都是可变的，传输流的速率则是由节目时钟参考(称为PCR)定义的。

传输流是MPEG-2系统层定义的一种数据流，它将具有一个或者多个不同时钟基准的一个或多个节目组合成一个单一流。不管是在有线电视，还是在卫星电视，或者IPTV，视频和音频码流都是一起复用在传输流中进行传输的。现在的有线电视和卫星电视的应用中，要求传输流的码率是严格的恒定的。

由于在数字压缩系统中，每一帧图像所占的数据量是不同的，其依赖于图像的编码方式和图像的复杂度。而通常的传输信道的时延是固定的，因而，对于活动图像而言，各帧的传输时延是可变的，于是传输和显示之间没有自然的同步概念。也就是说，数字传输系统不像模拟电视传输系统那样，图像信息以同步方式传输，接收机可以从图像同步信号中直接获得时钟信号，并由此控制显示。

MPEG-2的系统时序模型的建立，就是为了解决以上的不定时延的问题。它是一个以编码输入端与解码输出端(显示端)之间为一恒定时延的模型。该模型通过每个编码器、解码器缓冲区的延时是可变的方法(不仅仅是通过一原始流通道的缓冲区的延时可变，就是在音频和视频通道中单个的缓冲区延迟也是可变的)来实现恒定时延。为了实现缓冲器的延时可变，MPEG-2系统采用了在ES、PES和TS 3个码流层次中设置相关的时钟信息，分别为VBV-delay、显示时间标签PTS(Presentation Time Stamp)和解码时间标签DTS(Decoding Time Stamp)、节目参考时钟PCR(Program Clock Reference)，并通过其联合作用达到编解码的同步和音视频输出显示的同步。

PTS、DTS、PCR都是基于统一的27MHz系统时钟，整个系统由该时钟来同步。以上三个时钟信息由系统时钟来产生，因此该时钟要求有很高的频率稳定度。PTS、DTS均为33bit，编码成3个独立的字段，是保证音视频准确同步的必要信息。这些时间标签均是以此分组数据开始的第一个访问单元为基准来编码的；对TS码流而言，PTS和DTS的间隔700ms。当实际码流合成器(PES打包器)工作时，DTS值由系统信道复用器产生，并通过串行通信方式送给码流合成模块，同时还采用同样的方式送给音视频编码器。而PTS值则是利用帧同步信号对DTS计数值进行延时锁存(延时长度随图像组GOP类型和图像帧类型而定)，增加音视频同步的可靠性和简易性。

因为PTS、DTS是保证音视频准确同步的必要信息，因此传输流复用时候首先要保证音视频PTS、DTS保持同步，但是在很多时候由于存在误码和数据丢失，音视频进入复用器时候不能保证每帧音视频完全同步，音视频只是某段时间PTS、DTS保持同步，PTS、DTS在数值上也会出现较大波动。显然这些复杂的音视频数据情况给传输流复用提出了很大的挑战。

发明内容