[发明专利]一种音视频流分布式同步方法

说明书

本发明公开了一种音视频流分布式同步方法。本发明抽象音视频帧组概念，以逻辑时钟为基准，同步音视频帧组开始时间，音频设备以逻辑时钟为基准，组内自适应调整处理频率；视频设备基于逻辑时钟和音频时钟，实现帧组内自适应调整处理频率。在无需引入第三方设备和专业传输线的情况下，实现局域网内的音视频多设备同步。针对音频播放时延的平滑处理，可有效减少丢帧或快进概率，与视频保持一致。本发明在多设备之间以帧组粒度进行同步，降低了整体通信量，帧组内自适应调整频率，将时间平摊至多帧，进一步有效降低快进或花屏概率。该发明可实现在普适场景下实现音频分流，突破设备、通信和性能瓶颈，打造智能家庭影院。

技术领域

本发明涉及一种音视频流分布式同步方法，可实现从终端设备通过局域网分别将音视频近场投放至不同设备，同时保持音视频同步分流。

背景技术

传统家庭影院，通常采用多个音箱与TV相连，音箱播放立体声音乐，TV播放视频；但传统音箱与TV需采用专线相连，使用场景受阻的同时安装复杂。随着智能终端发展，智能播放设备层出不穷，智能家庭影院开始使用智能音箱替换传统音箱播放立体声音乐、智能TV 播放视频，因此音频和视频的分布式同步成为了亟待解决的问题。

目前，苹果将音视频数据共享或传输到Apple TV，通过专线将音视频数据传输至TV送显，并通过WIFI将音频传输至音箱，实现音视频同步的立体环绕音家庭影院效果。但该技术同步过程需通过Apple TV盒子，并借助传输专线实现，因此场景应用受限，不支持从任一设备将音视频投放到音箱和TV的视频分流需求。

以音频帧时间为基准同步视频、以视频帧时间为基准同步音频，并以一定阈值对齐播放时间，或以第三方时钟作为基准，将音频与视频帧数据打上时间戳，采用放缓播放、加速播放或丢弃数据的方式同步外部时钟，也都是现有技术的实现方法。然而音视频以帧为粒度进行同步，如果跨设备情况下会导致通信频繁，引起网络风暴；且每帧播放时间短，通信时延可能大于播放时延，导致较差的同步效果。

随着智能终端设备的不断发展，在普适场景下实现音视频分流的需求变得越来越迫切，而现有方法又存在诸多局限。有鉴于此，开发出一种音视频流分布式同步方法实有必要。

发明内容

本发明的目的是提供分布式的音视频同步方法，通过协调逻辑时钟并自适应调整音视频帧组内处理频率，实现局域网内音视频多设备同步，并且降低快进或花屏概率。现有技术通常采用图1所示方法，但存在上述局限。因此为避免上述方法的缺点，本发明提出了不同的解决方案：

步骤1：局域网内设备组建资源池，并将池内设备按功能分组。同一局域网内的设备组建设备资源池，将用户发起的设备设置为主设备或source端，接收多媒体数据的设备为普通设备或sink端，并建立起数据流和控制流通道。分组过程，source端设备将处理视频的sink 设备分为视频设备组，将处理音频的sink设备分为音频设备组。根据用户视频信息数据，对视频帧进行分组；并以视频帧组为基准，对音频帧进行分组。

步骤2：source端设备与视/音频设备组协商视/音频帧组开始时间。首先source端设备与视频设备组协商视频帧组开始时间：视频设备获取本地信息同步给source端，source端设备根据收到的多个视频设备组信息预估下一未播放帧组的开始时间，并通知相关视频设备；其次source端设备与音频设备组协商音频帧组开始时间：音频设备获取本地信息同步给source 端，source端设备根据收到的多个音频设备组信息以及视频帧组开始时间预估下一未播放帧组的开始时间，并通知相关音频设备。

步骤3：音频设备以逻辑时钟为基准，组内自适应调整处理频率(音频设备组)。音频设备组中的音频设备，根据音频逻辑时钟、播放状态、下一帧组播放时间等自适应调整帧组播放频率，实现平滑播放。

步骤4：视频设备基于逻辑时钟和音频时钟，实现视频设备帧组内处理频率的自适应调整。视频设备组中的视频设备，根据播放状态、视频逻辑时钟信息、音频逻辑时钟信息等自适应调整帧组播放频率，实现平滑播放。