[发明专利]一种基于帧同步的多路远程直播视频解说方法

摘要

本发明提供一种基于帧同步的多路远程直播视频解说方法，包括：切换设备设有直播音视频流缓存区域；切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，并发送给云平台；云平台发送给各个位于不同位置的远程的解说终端；解说终端向解说掩膜视频流中的每个解说掩膜视频帧中写入对应的直播视频帧号，并发送给云平台；云平台发送给切换设备；切换设备合成为最终的与某个解说终端对应的带解说音视频的直播音视频流。优点为：实现了异地解说同步方法，对于位于不同地理位置的各个解说员，借助解说终端可对同一个直播节目进行同步解说；能获取解说员的解说视频信息。

主权项

1.一种基于帧同步的多路远程直播视频解说方法，其特征在于，包括以下步骤：步骤1，现场采集终端实时采集现场的直播音视频流；其中，所述直播音视频流包括同步的直播音频流和直播视频流；所述现场采集终端实时将采集到的所述直播音视频流发送到切换设备；步骤2，所述切换设备设有直播音视频流缓存区域；当所述切换设备接收到所述直播音视频流时，所述切换设备实时将所述直播音视频流分解为直播音频流和直播视频流，并将所述直播音频流和所述直播视频流分别存储到所述直播音视频流缓存区域；当所述直播音视频流缓存区域中缓存的直播视频流达到M个直播视频帧时，所述切换设备在所述M个直播视频帧的前面添加计时序列，并在所述计时序列的最后一个计时帧上面添加同步标记，所述计时序列和所述M个直播视频帧形成带计时序列的直播视频流；其中，对于M个直播视频帧，每个所述直播视频帧均具有在本次完整直播过程中唯一的直播视频帧号；一方面，所述带计时序列的直播视频流缓存于所述直播音视频流缓存区域；另一方面，所述切换设备将所述带计时序列的直播视频流和对应的所述直播音频流合成为带计时序列的直播音视频流；并将所述带计时序列的直播音视频流发送到云平台；步骤3，所述云平台将所述带计时序列的直播音视频流同时发送给各个位于不同位置的远程的解说终端；对于每个所述解说终端，均执行步骤4‑步骤5；步骤4，所述解说终端接收到所述带计时序列的直播音视频流时，所述解说终端同时具有播放模块和解说采集模块，所述播放模块播放所述带计时序列的直播音视频流；并且，从所述带计时序列的直播音视频流开始播放开始，所述解说采集模块即同步开始采集解说音频流和解说视频流，直到所述带计时序列的直播音视频流播放结束；因此，所述解说终端获得解说音频流和同步的解说视频流；所述解说终端对所述解说视频流进行掩膜处理，得到解说掩膜视频流，所述解说掩膜视频流包括M个解说掩膜视频帧；所述解说终端解析所述带计时序列的直播音视频流，获得带计时序列的直播视频流；然后，识别出所述带计时序列的直播视频流的同步标记，将带所述同步标记的计时帧作为第0号帧，从而确定下一帧为本次视频处理周期的第1个直播视频帧，并将定位到的第1个直播视频帧的直播视频帧号写入到解说掩膜视频流的第1个解说掩膜视频帧上面；然后，再将第1个直播视频帧下一位的第2个直播视频帧的直播视频帧号写入到解说掩膜视频流的第2个解说掩膜视频帧上面；依此类推，由于共有M个直播视频帧，因此，直到将第M个直播视频帧的直播视频帧号写入到解说掩膜视频流的第M个解说掩膜视频帧上面；由此得到写入直播视频帧号的解说掩膜视频流；然后，所述解说终端将所述写入直播视频帧号的解说掩膜视频流和对应的解说音频流合成为解说音视频流，并将所述解说音视频流回传给所述云平台；步骤5，所述云平台将接收到的所述解说音视频流回传到所述切换设备；步骤6，由于存在多个解说终端，因此，所述切换设备接收到多个所述解说音视频流；对于每个所述解说音视频流，所述切换设备首先解析所述解说音视频流，得到解说音频流和写入直播视频帧号的解说掩膜视频流；然后，所述切换设备对所述写入直播视频帧号的解说掩膜视频流进行直播视频帧号的识别，由此识别到每个解说掩膜视频帧上被写入的直播视频帧号；然后，所述切换设备读取所述直播音视频流缓存区域，得到直播视频流，并将解说掩膜视频流和所述直播视频流对齐，对齐方式为：具有相同直播视频帧号的解说掩膜视频帧和直播视频帧对齐，从而实现直播视频和解说视频的同步；然后，将对齐的解说掩膜视频流和直播视频流合成为带解说掩膜视频的直播视频流；然后，所述切换设备再将所述带解说掩膜视频的直播视频流、所述直播音频流和所述解说音频流合成为最终的与某个解说终端对应的带解说音视频的直播音视频流；步骤7，然后，一方面，所述切换设备对下一个视频处理周期的音视频数据进行处理；另一方面，所述切换设备将最近视频处理周期处理得到的与各个解说终端分别对应的带解说音视频的直播音视频流发送给所述云平台；所述云平台存储与各个解说终端分别对应的带解说音视频的直播音视频流；当所述云平台接收到来自于某个播放终端的对特定解说终端的观看直播请求时，所述云平台即将对应特定解说终端的带解说音视频的直播音视频流发送给所述播放终端。