[发明专利]一种实时视频监控系统中音视频数据的同步方法

说明书

技术领域

本发明属于视频监控技术领域，尤其涉及一种实时视频监控系统中音视频数据的同步方法。

背景技术

随着计算机技术、网络技术、语音和视频编解码技术以及流媒体技术的不断发展与完善，视频监控业务在当今的网络时代取得了蓬勃的发展。如今，视频监控业务的重要性不言而喻，其应用领域包括城市安防、检验检疫、环境保护、气象检测、银行安保、商铺监控等等，甚至渗透到了家庭领域。在视频监控系统中，有些应用场所希望能在实时视频监控系统中加入音频，音频数据和视频数据同步的问题也就随之而来。

视频监控系统中，音频数据和视频数据一般是分开传输的，这也是多媒体技术的常规做法。这种分开传输必然给客户端的视频播放带来一个技术难点－视频数据和音频数据同步播放。现有的一些同步策略有的需要全网同步时钟，有点需要rtcp协议支持。但这些技术都比较复杂，并且没有考虑视频监控系统的应用需求。在实时视频监控系统中，因为视频的分辨率比较低，视频监控系统中的音频数据和视频数据的同步精度要求不会太高，即使音频数据和视频数据的偏差到达100ms，用户也不会感觉到不同步。但如果是高清视频或者超高清视频的话，音频数据和视频数据的偏差必须在80ms之内，否则观众是不能接收的。另一方面，高清视频和超高清视频是用来娱乐的，而视频监控是用来安防的，实时视频监控系统音视频数据即使有一点点失去同步，客户也是可以接收的，只要这种想象有限可控，而高清视频和超高清视频则不然。

发明内容

本发明的目的是针对现有技术的不足，提供一种实时视频监控系统中音视频数据的同步方法，

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤(1).监控端采集t毫秒时长的音频数据和任意一帧视频数据，同时记录音频数据的第一个字节采集时刻的系统时间a_stime，记录该视频数据采集时刻的系统时间v_stime；

所述的步骤(1)中v_stime将做为视频时间戳v_timestamp被保存到对应视频数据的rtp数据包包头的Timestamp字段，a_stime将做为音频时间戳a_timestamp被保存到对应音频数据的rtp数据包包头的Timestamp字段；

步骤(2).将步骤(1)采集到的音频数据和视频数据分别送入G.711音频编码器和H.264视频编码器进行编码，然后输出；

步骤(3). 对G.711音频编码器编码输出的音频流数据直接封装成RTP包，并将a_stime保存到RTP包头的Timestamp字段；对H.264视频编码器编码后输出的视频流进行分析，找到视频图像的起始码，并计算得出视频图像数据大小；

若该视频图像数据小于MTU（最大传输单元）则打成一个包；

若该视频图像数据大于MTU则采用分片封包模式，具体的分片方法完全按照RFC3984协议实现；

步骤(4).将视频图像数据封装成的RTP包和音频流数据封装成的RTP包通过UDP协议发送至手机端的不同端口；

步骤(5).手机端的两个不同端口分别接收视频图像数据封装成的RTP包和音频流数据封装成的RTP包，若接收的是视频图像数据RTP包则执行步骤(6)，否则执行步骤(7)；

步骤(6).根据视频图像数据RTP包包头的timestamp字段，得到视频时间戳v_timestamp，RTP的荷载的第一个字节是NAL的头，若NAL头信息中TYPE等于28，则判断为分片包，执行步骤(9)；若NAL头信息中TYPE不等于28，则判断为单片包，执行步骤(8)；

步骤(7).根据音频流数据RTP包包头的timestamp字段，得到音频时间戳a_timestamp，并将解包后的音频流数据放入音频缓存队列中，并继续执行步骤(10)；

步骤(8).将经过处理的视频图像数据包放入视频缓存队列中，并继续执行步骤(10)；

步骤(9).将属于同一个NAL单元的几个不同的视频分片包按照RFC3984协议标准合并成一个完整的NAL视频单元，并执行步骤(8)；

步骤(10). 视频解码器从视频缓存队列中读取视频数据，获取视频数据中的SPS（序列参数集）和PPS(图像参数集)，分析视频数据的首帧(I帧)，获取视频数据的视频时间戳v_timestamp,并进行解码播放；

步骤(11).音频解码器从音频缓存队列读取音频数据，获取音频数据的音频时间戳a_timestamp；