[发明专利]一种网络监控系统中音视频同步方法

说明书

技术领域

本发明涉及网络监控领域，尤其是一种网络监控系统的音频和视频同步方法。

背景技术

伴随着视频监控技术的提高和监控在各个领域的广泛应用，在很多场合，人们开始重视音频监控。无论是公检法机构，还是机场、铁路、银行等重点单位，越来越多的优质安防工程急需清晰、逼真的影音同步监控系统，音频监控领域已经成为安防行业的新亮点。有了音频监控的加入，就可以告别单纯视频监控的“无声电影”时代，有利于对突发事件的全面掌控，进行准确评估和处置。将音频应用在监控中，填补了安防领域的一大空白，是近年来网络监控的一大发展方向。然而，多媒体数据中的音频和视频等对象本身具有严格的时间关系，而网络传输会导致这种原始的时域关系被破坏，进而导致系统中的声音和图像无法实现同步回放。因此，网络监控系统中音频和视频同步技术的研究和实现，就显得格外重要。但是已有的同步技术存在实现复杂、同步精确度不高等问题。

发明内容

为了克服已有网络监控系统的音频和视频同步的实现复杂、同步精确度不高的不足，本发明提供一种实现简单、同步精确度较高的网络监控系统中音视频同步方法。

本发明解决其技术问题所采用的技术方案是：

一种网络监控系统中音视频同步方法，所述同步方法包括以下步骤：

（1）视频通过TW2835芯片自带的硬件压缩实现数据压缩，生成H.264数据，音频则通过软件压缩生成G.729数据格式；接着将其送入RTP库进行封装、发送；

所述RTP包头包括序列号和时间戳，在数据的发送过程中，每个发送出去的RTP数据包中的序列号都是逐一增加的，时间戳标识着音视频数据的采集时刻；

（2）从网络中接收到的数据包去掉IP包头和UDP包头以后，首先根据RTP包头中的负载类型决定将RTP包放入音频或是视频缓冲区，然后再根据RTP包中的序列号字段的顺序将RTP包中的负载数据插入到缓冲区正确位置中；

网络数据接收开始后，音、视频缓冲区都会预存适量的数据包；当音、视频流的数据填满预存区后，同时开始播放；同步以音频流为时间主导，通过调整视频对象来实现音视频的同步。

进一步，所述步骤（2）中，以音频的时间戳作为相对参考时间，回放开始后，以恒定的速率将音频数据从缓冲区取出送入解码器，并且记载下缓冲区第一块数据的时间戳A_T，然后将A_T与视频缓冲区第一块数据的时间戳V_T进行比较，根据两者的差值A_T—V_T决定视频数据的推送速率以及视频的播放速率，具体实现为：

2.1)当-100ms≤A_T-V_T≤100ms时，音视频缓冲按正常速率推送数据，播放的速率亦保持不变；

2.2）当100ms≤|A_T-V_T|≤160ms时，需要进行同步调整；

①若100ms≤A_T-V_T≤160ms，即音频超前视频，则加快推送视频缓冲中的数据，加快视频的播放速率，使音视频时间戳趋向于相同；

②若-160ms≤A_T-V_T≤-100ms，即音频滞后视频，则减慢视频缓冲的推送速率，降低视频的播放速率，使音视频时间戳趋向于相同；

2.3）当|A_T-V_T|≥160ms时需要重新进行同步；

①若A_T-V_T≥160ms，即音频严重超前视频，则丢弃视频缓冲区中最老的视频包，直至A_T=V_T，开始以正常速率启动回放；

②若A_T-V_T≤-160ms，即音频严重滞后视频，则丢弃音频缓冲区中最老的音频包，直至A_T=V_T，开始以正常速率启动回放。