[发明专利]移动媒体间实时视频音频高精度同步平台

说明书

本发明指出现有技术的视频音频发包策略中，并没有对视频音频包的同步发送进行有效的控制，采用根据视频音频包间的对应关系来同步发送媒体包，在发送端达到了视频音频媒体间的同步，通过分析在接收端利用RTCP包提供的时间戳对进行视频音频的同步，以及基于音频时间戳同步控制播放的传统方法中时间戳同步技术的特点及不足，针对安卓设备性能的局限性，采用间隔对比时间戳的方式，分别在视频音频帧时间戳对比的时间和次数上进行改进，本发明提出的安卓实时视频音频同步策略，极大的改善了用户体验，有利于推动移动终端上实时视频音频同步的发展，对于移动端实时视频音频的发展有着重大的实际意义和应用价值。

技术领域

本发明涉及一种实时视频音频高精度同步平台，特别涉及一种移动媒体间实时视频音频高精度同步平台，属于实时视频音频同步技术领域。

背景技术

伴随网络通信技术的快速发展，移动终端特别是智能手机大量普及，单一的文字图片的交流方式已不能满足需求，视频音频多媒体通信方式已融入人们的生活，它使得面对面的交流不再受地域的限制，同时也提高了工作效率，极大的降低了成本，已经与人们的日常生活密不可分，如在视频教学、视频会议、视频监控、游戏视频、协同工作等领域。随着移动设备的普及，高速数字网络的大面积建设，人们已经可以更加便捷简单的接入互联网，随时随地的利用手机等移动设备进行交流，而无线通信技术日益成熟，视频音频压缩编码也极大的降低了对网络带宽的需求，这些都极大的推动了移动多媒体视频音频通信的发展。

人们对视频音频通信质量的要求也随之越来越高，尤其是无线移动场景下对实时视频音频质量的要求，对于移动视频音频媒体数据流，除了要求传输的实时性，更要求播放时的视频音频质量高、各个媒体流的同步性好，延时和延时抖动小。但多年以来，对于实时视频音频同步的研发和应用还集中在专业的视频设备和PC端，而传统的视频音频传输及同步一般是在固定设备和场合下进行，有着视频设备成本高、移动不方便、限制多的弊端。而随着移动网络技术的发展和智能手机的普及，移动端的视频音频同步正好有着便携性、成本低等特点。

在复杂的无线网络环境下，多媒体数据的丢包现象又可能是因为无线丢包或拥塞丢包所造成的，不能完全采取原来PC端上发送视频音频丢包情况时，统一通过改变发送速率来对流量和拥塞进行控制。现有技术对RTP/RTCP的视频音频同步策略主要是通过在接收端对已经丢包的现象，视频帧采取重复或丢弃的方式，使之恢复媒体间的同步，但在视频帧严重滞后的时，还是不能达到同步效果。后来又提出了一种安卓视频会议播放器，采用SIP视频协议标准，但在网络不稳定的情况下，音频播放正常，视频并不能实现同步。

播放终端用户都希望尽可能的看到高质量的多媒体流，但由于复杂的网络传输环境，发送端并不能完全保证数据顺序准确、无误的交付给接收端，网络拓扑结构不同或无线环境信号不稳定等原因都会造成时延或时延抖动，导致媒体流在接收端播放时因丢包、掉帧、延时等原因而播放不平滑，乃至视频音频流不同步，影响视频音频同步的因素包括：

一是发送端处理数据偏差，发送端在采样完视频音频流后，进行编码打包，但由于音频和视频的采样频率和数据量不同，压缩编码的算法复杂度也不同，造成在发送时产生了时间差，引起了不同步，现有技术的解决办法主要是严格控制发送端上视频音频帧的发送，同一时刻采集的视频音频帧同时打上相同的时间戳，并且同时发送具有相同时间戳的视频音频帧，在网络条件好的情况下，能够对接收端的同步起到作用，但在时延抖动严重时，单纯依靠该方法难以起到较好的同步；

二是时延和时延抖动，时延是从发送端到接收端，数据单元所经历的时间长度，由于传输网络环境不稳定，导致时延的不恒定，产生了时延抖动，时延抖动反映了时延的变化程度，在发生网络拥塞时，单个媒体流可能并不能以连续流的形式在网络中传输，这将导致各个媒体单元之间到达接收端的时间间隔不均等，同时媒体流间原本的时间关联可能也被打乱颠倒，造成不同步；