[发明专利]一种多路实时直播WebRTC流合成方法

说明书

本发明公开了一种多路实时直播WebRTC流合成方法，具体包括以下步骤：1、对收到的WebRTC数据包进行预处理；2、进行实时的多路音频混合；3、进行多路视频混合；4、多路WebRTC流媒体同步合成和转发。本发明能将多个端点产生的WebRTC协议流媒体数据进行实时合成，在保证实时性的同时保证了音视频的同步，解决了生产实际的问题。

技术领域

本发明属于软件开发技术领域，具体为一种多路实时直播WebRTC流合成方法。

背景技术

为了实现在浏览器上直接发起高效的流媒体直播万维网联盟和互联网工程任务组共同制定了一项新的通过Web浏览器直接进行实时音视频通话的技术：Web Real-TimeCommunication(WebRTC)。WebRTC是一个标准、协议和JavaScript API的集合，它实现了浏览器或peer之间的对等音频，视频和数据共享。WebRTC不需要依赖于第三方插件或专有软件，Web应用可以直接通过标准的JavaScript API调用实现实时流媒体通信，目前主流的浏览器Chrome、Firefox和Safari都已经支持WebRTC。开发者只需要采用JavaScript语言进行简单的调用即可让Web程序进行点对点数据传输实现丰富的远程会议体验。WebRTC已经被广泛应用于多种应用场景，如健康关怀，在线教育，远程协同，在线监控等。在实际使用WebRTC协议实现实时流媒体直播平台时需要将多个主播或多个对等端的用户音视频数据进行同步合成转发给观看者，例如三个分布在不同地方的主播A、B、C同时进行一项线上活动时需要实时的将他们产生的音视频数据进行高效合成，然后发送给观看者，但是WebRTC本质上是一种基于对等网络，因此没有提供一种高效的合成不同端点产生的实时流的方式。

发明内容

针对这个问题，本发明提供一种多路实时直播WebRTC流合成方法。目的在于为在一些实际应用场景中使用WebRTC进行流媒体直播时还需要将多个主播或多个对等端的用户音视频数据进行同步合成转发给观看者的情况提供解决方法。

本发明的一种多路实时直播WebRTC流合成方法，包括以下步骤：

步骤1：对收到的WebRTC数据包进行预处理：WebRTC在封包流媒体数据时采用的是标准的RTP格式，在RTP封包的头中有包的描述信息，seq_number表示包的流水号，timestamp表示发送该数据包物理生成时的时间戳，针对音频和视频数据采用不同的数据包预处理方式。

步骤2：一个WebRTC音频数据包携带的数据为960个采样，解码成PCM数据后一个采样在内存空间中以LR交叉方式保存左右声道的数据。进行实时的多路音频混合：设混合后的音频PCM数据缓冲区为buff_out，设两路按照LR交叉方式保存的音频采样L₁R₁和L₂R₂，则两个音频采样合成为一个音频采样的混音公式如下列所示，

式中β为高音抑制系数，可以根据实际需要进行调节用来抑制合成后声音出现的爆音。在进行实时的多路音频混合时只需将收到的音频直接转码为PCM数据然后用公式(1)依次计算和buff_out对应位置的音频数值的混音值即可。

步骤3：进行实时的多路视频混合：由于在多路直播时每个直播端选择的视频采集像素分辨率不同但是高宽比相同，因此在最终输出的多路合成视频图像只能采用统一的规格，设输入的视频图像A的高宽分别为H_in和W_in，在合成输出视频图像上图像A的高宽变成了H_in_scale和W_in_scale并且左上角在输出图像上的位置为x和y；视频图像通常用YUV格式来保存数据，为了减轻视频编解码的负担，在此采用YUV平面格式(planarformats)将Y、U、V的三个分量分别存放在不同的矩阵中。

步骤4：多路WebRTC流媒体同步合成和转发：