[发明专利]一种实时视频监控系统中音视频数据的同步方法

摘要

本发明公开了一种实时视频监控系统中音视频数据的同步方法。本发明方法包括下述步骤：监控端获取音频数据和视频数据的采集时间，编码音频数据和视频数据，并将它们的采集时间封装在各自的数据包中传送出去；客户端获取所述数据包，并对其进行解析和解压缩，按同步机制解码播放音频数据包和视频数据包。在本发明中，客户端获取监控端传来的数据后，将视频数据包和音频数据包分别按时间顺序放入视频缓存队列和音频缓存队列，根据同步精度要求对这些数据解压播放。本发明方法极大地减小音视频同步的算法复杂度，同时性能不会下降太多，完全能够满足视频监控的需要。

主权项

一种实时视频监控系统中音视频数据的同步方法，其特征在于包括如下步骤：步骤(1).监控端采集t毫秒时长的音频数据和任意一帧视频数据，同时记录音频数据的第一个字节采集时刻的系统时间a_stime，记录该视频数据采集时刻的系统时间v_stime；所述的步骤(1)中v_stime将做为视频时间戳v_timestamp被保存到对应视频数据的rtp数据包包头的Timestamp字段，a_stime将做为音频时间戳a_timestamp被保存到对应音频数据的rtp数据包包头的Timestamp字段；步骤(2).将步骤(1)采集到的音频数据和视频数据分别送入G.711音频编码器和H.264视频编码器进行编码，然后输出；步骤(3). 对G.711音频编码器编码输出的音频流数据直接封装成RTP包，并将a_stime保存到RTP包头的Timestamp字段；对H.264视频编码器编码后输出的视频流进行分析，找到视频图像的起始码，并计算得出视频图像数据大小；若该视频图像数据小于MTU则打成一个包；若该视频图像数据大于MTU则采用分片封包模式，具体的分片方法完全按照RFC3984协议实现；步骤(4).将视频图像数据封装成的RTP包和音频流数据封装成的RTP包通过UDP协议发送至手机端的不同端口；步骤(5).手机端的两个不同端口分别接收视频图像数据封装成的RTP包和音频流数据封装成的RTP包，若接收的是视频图像数据RTP包则执行步骤(6)，否则执行步骤(7)；步骤(6).根据视频图像数据RTP包包头的timestamp字段，得到视频时间戳v_timestamp，RTP的荷载的第一个字节是NAL的头，若NAL头信息中TYPE等于28，则判断为分片包，执行步骤(9)；若NAL头信息中TYPE不等于28，则判断为单片包，执行步骤(8)；步骤(7).根据音频流数据RTP包包头的timestamp字段，得到音频时间戳a_timestamp，并将解包后的音频流数据放入音频缓存队列中，并继续执行步骤(10)；步骤(8).将经过处理的视频图像数据包放入视频缓存队列中，并继续执行步骤(10)；步骤(9).将属于同一个NAL单元的几个不同的视频分片包按照RFC3984协议标准合并成一个完整的NAL视频单元，并执行步骤(8)；步骤(10). 视频解码器从视频缓存队列中读取视频数据，获取视频数据中的SPS和PPS，分析视频数据的首帧，获取视频数据的视频时间戳v_timestamp,并进行解码播放；步骤(11).音频解码器从音频缓存队列读取音频数据，获取音频数据的音频时间戳a_timestamp； 步骤(12).将视频时间戳v_timestamp作为参考时钟，并同步比较音频时间戳a_timestamp与视频时间戳v_timestamp，若音频时间戳a_timestamp与视频时间戳v_timestamp的差值大于门限值T1，则音频数据不进行解码播放直接跳过；若音频时间戳a_timestamp与视频时间戳v_timestamp的差值大于门限值‑T1时，则音频数据读取线程暂停等待视频数据的处理；若音频时间戳a_timestamp与视频时间戳v_timestamp的差值在‑T1与T1之间，则进行正常播放。