[发明专利]一种多路音视频同时播放时处理音视频同步的方法

摘要

本发明涉及一种多路音视频同时播放时处理音视频同步的方法。传统的音视频同步技术不能满足多人沟通应用对多路音视频同时进行同步的要求。本发明方法中每个用户分别获取各自的音、视频数据并压缩成音、视频压缩包，每个音、视频压缩包标记时间戳，发送给服务器；服务器将接收到的每个用户的音频压缩包解压后混音，在混音结果中记录所有参与混音的音频压缩包对应的时间戳，压缩成混音压缩包，发送给客户端，视频压缩包直接发送给客户端；每个客户端接收到混音压缩包和视频压缩包后，将混音压缩包解压后顺序播放，然后根据音频驱动视频的原则，显示对应视频压缩包中的视频帧。本发明方法能够完整地保存所有音频和视频之间的同步关系。

主权项

一种多路音视频同时播放时处理音视频同步的方法，其特征在于该方法的具体步骤是：步骤(1).每个用户分别获取各自的音视频数据并将音频和视频各自压缩；将采集的音频数据以10～120毫秒为单位分割成音频数据单元，将每个音频数据单元压缩成音频压缩包，每个音频压缩包标记采集时刻的客户端机器时间戳；将视频数据中的每一帧压缩成视频压缩包，每个视频压缩包标记采集时刻的客户端机器时间戳；将每个音频压缩包和每个视频压缩包发送给服务器；每个用户分别获取各自的音视频数据的方法包括通过设备采集和从媒体文件中获取；如通过设备采集，则所述的时间戳为采集的时刻；如从媒体文件中获取，媒体文件播放或解压组件会为数据设置时间戳，该时间戳为相对媒体文件开始的时刻，转换为以当前计算机时刻为标准的时间戳；步骤(2).服务器将接收到的每个用户的音频压缩包解压后混音，然后在混音结果中记录所有参与混音的音频压缩包对应的时间戳，压缩成混音压缩包，发送给客户端；视频压缩包直接发送给客户端；N个用户U1、U2、…、UN，每个用户有一路音频，共有N路音频，分别为A1、A2、…、AN；服务器需要混音出N+1路音频，分别是：第0路.包含了所有音频，记为M0、第1路.除A1外其他所有音频，记为M1、第2路.除A2外其他所有音频，记为M2、……第N路.除AN外其他所有音频，记为MN；生成的每路音频都需要将其对应的N或N 1路源音频的时间戳写入这路音频中，该音频包将会有N或N 1个时间戳，以及这些时间戳所对应的源音频；生成这N+1路音频后，将M0发送给所有没有发送音频的用户，M1发送给U1，M2发送给U2，以此类推，发送给每个用户的音频内容都不包含该用户的音频；步骤(3).每个客户端接收到混音压缩包和视频压缩包后，将混音压缩包解压后顺序播放，然后根据音频驱动视频的原则，显示对应视频压缩包中的视频帧；每个客户端接收到的内容为一路混音压缩包和服务器转发的N路视频压缩包；播放时通过音频驱动视频进行，即每播放一个音频压缩包，记录该音频压缩包中包含的所有时间戳（U，A）；播放X用户的视频时，取出该路视频待播放的一帧对应的视频时间戳（UX，VX），同时取出最近播放过的音频帧的同一用户的时间戳（UX，AX），对VX和AX进行比较，若VX大于等于AX，则表示视频内容已经在音频内容之后了，可以播放，而若VX小于AX，根据音频驱动视频原则，表示这个视频帧还没有到播放的时刻，等待下一次的播放判断来决定是否可以播放。