[发明专利]一种音视频流分布式同步方法

权利要求书

1.一种音视频流分布式同步方法，其特征在于该方法包括以下步骤：

步骤1：局域网内设备组建资源池，并将池内设备按功能分组；

同一局域网内的设备组建设备资源池，用户可在任意设备上发起多媒体流向其它设备分布式同步传输和处理命令；

选择用户发起多媒体流数据的设备为source端，接收多媒体流数据的设备为sink端，source端设备与sink端设备建立数据流通道和控制流通道，其中的数据流用于音视频数据传输，控制流用于控制信息传输；

source端设备将处理视频的sink设备分为视频设备组，将处理音频的sink设备分为音频设备组；

根据用户视频数据对视频帧进行分组，并以视频帧组为基准，对音频帧进行分组；

步骤2：分组设备之间分布式协商音频和视频帧组开始时间；

source端设备与视频设备组协商视频帧组开始时间：视频设备获取本地信息同步给source端，source端设备根据收到的多个视频设备组信息预估下一未播放帧组的开始时间，并通知相关视频设备；

source端设备与音频设备组协商音频帧组开始时间：音频设备获取本地信息同步给source端，source端设备根据收到的多个音频设备组信息以及视频帧组开始时间预估下一未播放帧组的开始时间，并通知相关音频设备；

步骤3：音频设备以逻辑时钟为基准，自适应调整帧组播放频率，实现平滑播放；

步骤4：视频设备基于逻辑时钟和音频时钟，自适应调整帧组播放频率，实现平滑播放。

2.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤1中的视频帧分组后的每个视频帧组包括m_v个帧；而后以视频帧组为基准，对音频帧进行分组，音频的一帧为包括n个采样点的一段数据，音频帧组包括m_a帧。

3.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤2中采用多数原则或平均原则预估视频设备组下一个未播放视频帧组的开始时间；

采用多数原则或平均计算原则预估音频设备组下一个音频帧组的开始时间。

4.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤3中自适应调整帧组播放频率具体是：

3-1、获取当前音频播放信息，包括当前送入播放器或解码器的时间、逻辑上送入播放器或解码器的时间，根据当前送入播放器时间T_cur(j)与逻辑上送入播放器时间T_log(j)差值，差值小于等于给定阈值w，则不进行调整；差值大于给定阈值w，则进入第3-2步进行自适应调整：

3-2、音频帧组内自适应调整，将时间差均摊至多帧。

5.根据权利要求1所述的一种音视频流分布式同步方法，其特征在于：

步骤4：视频设备基于逻辑时钟和音频时钟，视频设备组实现帧组内自适应调整处理频率：

4-1、获取当前视频播放信息，包括当前送入播放器或解码器时间、逻辑上送入播放器或解码器时间，计算当前送入解码器时间T_cur(j)与逻辑上送入解码器时间T_log(j)差值，差值大于给定阈值w，则进入第4-2步进行自适应调整；

4-2、根据当前视频帧，以音频逻辑时钟为标准，计算并比较当前视频帧与当前音频帧的大小关系，根据计算和比较结果完成第4-3步或第4-4步自适应调整，计算和比较过程如下：

(1)如果设当前视频帧为F_{video_cur}，F_{video_group_start}(k)为第k组的初始帧号，T_{video_group_log}(k)为第k组视频逻辑时间，则当前视频帧逻辑理想时间T_{video_log}为：

T_{video_log}＝T_{video_group_log}(k)+(F_{video_cur}-F_{video_group_start}(k))*t_{video_group}

(2)根据当前视频帧逻辑理想时间T_{video_log}计算当前视频帧对应的理想逻辑音频帧号F_{audio_log}：

设F_{audio_real}为当前实际逻辑音频帧号，如果满足F_{audio_log}＞F_{audio_real}则进入第4-3步，满足F_{audio_log}≤F_{audio_real}则进入第4-4步；

4-3、当视频比音频快时，视频自适应调整，以视频放缓处理；计算音频相对视频延迟Delay_video，完成视频的自适应调整Period_video：

Delay_video＝(F_{audio_log}-F_{audio_cur})*t_audio (2)

其中n为音频采样点数量，sample_rate表示音频设备帧率，t_audio为单帧可播放时间；

4-4、当视频比音频慢时，视频自适应调整，视频可通过下式完成视频自适应调整Period_video，以加快视频处理：