[发明专利]一种多路实时直播WebRTC流合成方法

权利要求书

1.一种多路实时直播WebRTC流合成方法，其特征在于，包括以下步骤：

步骤1：对收到的WebRTC数据包进行预处理：WebRTC在封包流媒体数据时采用的是标准的RTP格式，在RTP封包的头中有包的描述信息，seq_number表示包的流水号，timestamp表示发送该数据包物理生成时的时间戳，针对音频和视频数据采用不同的数据包预处理方式；

步骤2：进行实时的多路音频混合：设混合后的音频PCM数据缓冲区为buff_out，设两路按照LR交叉方式保存的音频采样L₁R₁和L₂R₂，则两个音频采样合成为一个音频采样的混音公式如下列所示，

（1）

式中，L₁、R₁分别表示第1路左声道、右声道音量值，L₂、R₂分别表示第2路左声道、右声道音量值，β为高音抑制系数，在进行实时的多路音频混合时只需将收到的音频直接转码为PCM数据然后用公式（1）依次计算和buff_out对应位置的音频数值的混音值即可；

步骤3：进行实时的多路视频混合：设输入的视频图像A的高宽分别为H_in和W_in，在合成输出视频图像上图像A的高宽变成了H_in_scale和W_in_scale并且左上角在输出图像上的位置为x和y；为了减轻视频编解码的负担，在此采用YUV平面格式将Y、U、V的三个分量分别存放在不同的矩阵中；

步骤4：多路WebRTC流媒体同步合成和转发：

视频WebRTC数据包经过步骤1和步骤3将图像绘制到输出画布上；音频WebRTC数据包经过步骤1预处理后将音频解码成PCM数据，然后按照步骤2将音频进行混音；此时系统中存在着两个发送线程，视频发送线程负责将输出画布上最新的图像进行编码并封包成WebRTC数据包，音频发送线程负责将音频输出缓冲区中混音后的数据进行编码并封包成WebRTC数据包；两个发送线程在全局系统时间协调下给发送的数据加上正确的时间戳用来保障音频和视频的同步；最后将数据发送到观看端。

2.根据权利要求1所述的一种多路实时直播WebRTC流合成方法，其特征在于，所述步骤1中视频数据的预处理具体为：

步骤1.1：解析WebRTC数据包p的包头信息，解析数据区获得视频扩展信息；

步骤1.2：综合判断是否无效数据包，抛弃空数据包；

步骤1.3：按照数据包的seq_number降序排列将数据包插入到队列QV；

步骤1.4：依次遍历QV，设取出的数据q，若q的时间戳和p的时间戳差值θ则抛弃当前时间戳的所有包，θ表示时间戳差值的阈值；向后判断和q同timestamp的包的seq_number是否连续，不连续则启动丢包管理；

步骤1.5：如收到一个完整视频的所有WebRTC包则解析WebRTC包载荷数据的视频编码头信息获得视频图像的高宽信息并判断是否有变化。

3.根据权利要求1所述的一种多路实时直播WebRTC流合成方法，其特征在于，所述步骤3具体为：

步骤3.1：计算缩放比并将输入图像缩放为目标大小；

步骤3.2：从1行到H_in_scale行依次计算缩放后输入图像第i行Y分量在目标输出图像中Y分量所在行的目的拷贝起始位置Y_pos；将缩放后的输入图像Y分量的第i行拷贝到以Y_pos为开始的目标空间；

步骤3.3：从1行到H_in_scale/2行依次计算缩放后输入图像按照高宽信息折半计算的第i行U分量在目标输出图像中U分量所在行的目的拷贝起始位置U_pos；将缩放后的输入图像U分量的第i行拷贝到以U_pos为开始的目标空间；计算缩放后输入图像按照高宽信息折半计算的第i行V分量在目标输出图像中V分量所在行的目的拷贝起始位置V_pos；将缩放后的输入图像V分量的第i行拷贝到以V_pos为开始的目标空间。