[发明专利]混音处理方法及系统

说明书

技术领域

本发明涉及视频会议领域，特别是涉及一种混音处理方法及系统。

背景技术

随着网络技术和视频会议的迅速发展，多方通话业务已经成为公共交换电信网/综合业务数字网、分组语音网和移动网必备的补充业务，同时在上述网络会议电话和会议电视业务应用也越来越广泛。基本的语音业务仅涉及两个通话方，通话双方可互相听到对方的声音，二在多方通话业务和会议业务中，同时通话方可能不止两方，其中任意一方的语音信号都可以被传送至所有其他通话方，而每一通话方都应同时可听到多个其他通话方的声音。为此，在多方通话和会议电话业务中通常需要进行混音处理，即将多个通话方的语音信号混合起来，以便任意一个通话成员都可同时听到其他通话方的声音。

传统方法，在客户端编码前进行语音特征计算，语音特征和编码数据一起发到混音服务器，这样混音服务器只根据已计算好的语音特征挑选混音通道数，然后将需要混音的m个通道数据，全部发往各客户端进行解码混音。

上述方法一般使用VAD（语音激活探测）技术，同时在无语音的情况下不发送数据到子语音服务器（DTX技术）。但当主会场需要播放背景音乐，或者有分会场需要分享音乐时，上述VAD+DTX技术会导致音乐时断时续或完全没有声音。

发明内容

基于此，有必要针对混音时音乐时断时续或完全没有声音的问题，提供一种混音处理方法及系统。

一种混音处理方法，包括步骤：

分别获取各个客户端的音频信息，所述音频信息为语音信息、音乐信息或语音音乐信息，其中，所述语音音乐信息为同一个客户端同时接收的语音信息和音乐信息的混音；

分别将各个客户端对应的音频信息进行编码，获得音频编码帧；

在所述音频编码帧前设置标志位，获得扩展音频编码帧；其中，若所述音频信息为语音信息，则所述标志位为语音标志位，若所述音频信息为音乐信息，则所述标志位为音乐标志位，若所述音频信息为语音音乐信息，则所述标志位为音乐标志位；

将所述扩展音频编码帧打包后发送至混音服务器；

获取解包后的所述混音服务器的扩展音频编码帧；

根据所述扩展音频编码帧的标志位将所述音频编码帧进行解码获得音频解码信息，将所述音频解码信息进行混音获得混音音频信息，并将混音音频信息返回至各个客户端。

一种混音处理系统，包括：

第一获取模块，用于分别获取各个客户端的音频信息，所述音频信息为语音信息、音乐信息或语音音乐信息，其中，所述语音音乐信息为同一个客户端同时接收的语音信息和音乐信息的混音；

编码模块，用于分别将各个客户端对应的音频信息进行编码，获得音频编码帧；

扩展音频帧模块，用于在所述音频编码帧前设置标志位，获得扩展音频编码帧；其中，若所述音频信息为语音信息，则所述标志位为语音标志位，若所述音频信息为音乐信息，则所述标志位为音乐标志位，若所述音频信息为语音音乐信息，则所述标志位为音乐标志位；

第一发送模块，用于将所述扩展音频编码帧打包后发送至混音服务器；

混音处理模块，用于获取解包后的所述混音服务器的扩展音频编码帧，根据所述扩展音频编码帧的标志位将所述音频编码帧进行解码获得音频解码信息，将所述音频解码信息进行混音获得混音音频信息，并将混音音频信息返回至各个客户端。

上述混音处理方法及系统，通过分别采集语音信息、音乐信息或者混音后的语音音乐信息，在音频编码帧前设置标志位，将音乐信息、语音音乐信息和语音信息区分开，然后获取混音服务器的扩展音频编码帧，实现解码混音，并返回至各个客户端。从而实现会场有音乐需要分享时，混音信息中存在完整音乐信息，提高了混音信息中背景音乐播放质量。

附图说明

图1为本发明混音处理方法实施例一的流程示意图；

图2为本发明混音处理系统实施例一的结构示意图；

图3为本发明混音处理系统实施例二中子混音处理模块的结构示意图；

图4为本发明混音处理系统实施例二中主混音处理模块的结构示意图。

具体实施方式

以下针对本发明混音处理方法及系统的各实施例进行详细的描述。

参见图1，为本发明混音处理方法实施例一的流程示意图，包括步骤：