[发明专利]一种用于多路实时视频的帧同步方法

说明书

技术领域

本发明涉及视频技术领域，更具体地讲，涉及一种对网络流媒体进行帧同步的方法。

背景技术

在网络多路视频应用中，往往会遇到播放时有的视频因为网络延时等一些原因播放落后于其它视频，出现多路视频播放不同步的现象。在一些专用视频应用中对多路视频播放的精确同步有较高要求，例如全景视频应用和跨相机跟踪应用等。全景视频应用中，经常在同一时刻需要显示多路视频，这些视频可能属于同一全景相机的不同摄像头，也有可能是属于不同相机。视频在网络传输会因为网络环境不同产生时延，同时各个相机内部时钟可能不一致，从而导致多路视频直接接收播放可能出现不同步的现象，严重影响到用户的观看体验。跨相机跟踪应用中，如果各个相机之间的视频不同步，则会造成跟踪目标出现在多个相机的情况，对跟踪效果有严重影响。目前多路视频同步的方法一般都是按视频帧的时间戳进行同步。

本发明前，中国发明专利“多路音视频数据网络传输与同步播放的方法”，申请号为200510017131.1，公开号为CN1933594，该专利公开了一种多路视频网络传输后同步播放的方法，该方法在服务器端对视频帧标记时间戳进行网络传输并在客户端利用时间戳进行同步播放。这种方法固定了时间戳的记时单位，但无法根据需要调整同步精度。同时，在实时视频服务中，时间戳不能只以服务器时间为标准，需要综合考虑相机采集时间与服务器时间来标记时间戳。中国发明专利“多路视频同步传输方法、装置及系统”，申请号201010159842.3，公开号为CN102238421A，该专利公开了一种多路视频网络传输后同步播放的方法，该方法对视频帧添加水印，同一时段内获取的多路视频中的多帧图像暣添加的水印相同，客户端进行播放时多路视频水印相同的一起播放，达到同步播放的效果。这种方法由于将水印嵌入图像中，修改了图像原本的信息，同时对于已编码的视频流，水印添加需要对图像解码后添加再编码，处理时间较长。同样此方法在做实时视频服务时，没有考虑到采集设备到服务器之间的传输时延。

针对上述方法的不足，本发明提出了一种服务器和客户端相互配合的多路视频同步方法，可以有效地解决由服务器与客户端之间由网络延迟、各相机内部时间不同、相机与服务器之间的传输延时等因素引起的同步问题，并可以配置相关参数达到适应不同同步精度的要求，无需修改图像信息达到多路视频精确同步的目的。

发明内容

本发明的目的是：提供了一种用于多路实时视频的帧同步方法，使多路视频在客户端进行播放时各路视频时间同步，解决因网络传输时延和不同相机时钟不一致所引起的多路视频播放不同步的情况，提高用户的观看体验。

本发明的技术解决方案：根据相机时间与服务器时间，调节相机与服务器之间的时间偏移量，以此对相机视频帧的时间戳进行校准，根据服务器配置的基准帧率确定的时间轴区间与校准后的时间戳计算出一个与时间和基准帧率相关的序号做为同步信息添加至视频帧中进行传输，客户端使用这个序号判断多路视频中各帧是否是同一时刻的帧。并且本方法还引入了超时忽略播放机制、缓冲机制和追赶机制等来提高多路视频同步的精确性。

服务器提取出从相机得到的原始视频流中的视频帧以及对应的时间戳，根据相机时间与服务器时间的时间偏移量对视频流进行时间校准。服务器配置一个基准帧率用于对时间轴进行区间分割，区间长度为基准帧率的倒数。服务器根据校准后的时间计算出帧同步序号作为该帧的同步信息添加到视频帧中，帧同步序号为该帧校准后的时间戳的分、秒以及在一秒之中所在的区间号计算得出。同步信息携带于视频帧中长度固定，根据具体的视频编码方式携带方式有所不同。

客户端在收到来自服务器的视频流之后，首先提取视频流中帧所附带的长度固定的同步信息，并对帧数据进行解码。客户端会为每一路视频建立一个缓冲队列，解码后的视频帧会被放入该队列。客户端维护一个定时器，定时器每隔一段时间间隔会检查缓冲队列。若缓冲队列的第一帧的帧同步序号为当前应该播放的序号，则出队播放；若缓冲队列的第一帧的帧同步序号比当前应该播放的序号小，则丢弃该帧与之后所有帧同步序号小于当前应该播放序号的帧；若队列为空则暂时忽略该队列；若队列被忽略，则检查是否恢复正常；若半数以上队列视频流长度小于一定阈值，则等待一段时间后继续；若半数以上队列视频流长度大于一定阈值，则在之后一段时间每个定时器周期执行两次检查。

附图说明

图1为本多路视频同步方法的总体示意图；

图2为服务器端对视频流的帧添加同步信息的流程图；

图3为帧时间戳与帧同步序号对应示意图。

具体实施方法