[发明专利]一种音频混音方法、装置和电子设备

说明书

技术领域

本发明涉及导播技术领域，具体涉及一种音频混音方法、装置和电子设备。

背景技术

随着直播业务的不断增长，各种新需求也越来越多，例如多机位切换、多场景切换、直播点播切换、分屏显示、音频混音等等，在传统直播中，这些工作的完成是依赖于硬件导播台进行，这种方式不但设备成本较高，携带不便，且操作难度较大，所以云导播应运而生。云导播的一种重要模式就是将多路音视频信号合成一路输出，所以其中涉及到音频混音的操作。音频混音是指将多路输入音频数据按指定权重进行混合并输出的处理方式，属于云导播中音频处理的重要一环。

现有云导播的音频采集和混音输出是单线程架构设计，从最后一路音频往前，依次循环采集处理每一路每一帧的音频数据。由于混音算法一般是对各路输入的音频数据进行线性叠加，要求进行叠加的每一路音频数据具有相同的基准采样点数，因此在叠加前需要确定出基准采样点数，现有的处理方式是：一般以输入的第一路音频数据为起始进行寻找基准路的基准采样点，除第一路外，均是将当前路的一帧PCM音频数据读入，放入该当前路对应的FIFO(First Input First Output，先入先出队列，这是一种传统的按序执行方法，先进入的指令先完成并引退，跟着才执行第二条指令)中，当处理至第一路时，读取第一路的一帧PCM音频数据，并和其余路FIFO中已有的音频数据进行采样点数大小比较，如果第一路音频数据的采样点数最小，则以此最小采样点数为基准采样点数，进行加权累加的混音处理，并输出该最小采样点数的一帧混音后音频数据，其余路FIFO中对应音频数据进行相应的出队列操作。如果第一路音频数据的采样点数不是最小，则抛弃第一路的此帧数据，进入下一轮多路的循环，直至寻得最小采样点数。

这种处理方式流程相对简单，易于实现。但存在如下几个问题：其一是多路音频采集解码和音频混音为串行处理，相互间高耦合，架构不够清晰，不利于维护及后续开发，并且没有充分利用CPU性能；其二是混音处理逻辑过于复杂，对于每一路音频数据的处理都要以基准路音频数据的采样点数为基准，如果基准路发生变化，如被切换掉等，整个混音处理过程就会受到影响，并需要重新寻找基准路，过程繁琐；其三是云导播所处的网络环境十分复杂，无法保证每一路音频均可无卡顿的进行输入，所以当某一路音频流发生卡顿时，就会造成整个音频处理卡顿，也就是说当某一路音频流传输中出现问题时，每一路的音频均无法正常输出，这将极大地影响用户的体验。

因此，如何简化混音处理过程、提高混音处理效率成为一个亟待解决的技术问题。

发明内容

有鉴于此，本发明实施例提供了一种音频混音方法、装置和电子设备，以解决现有技术中混音处理过程复杂、混音处理效率低的问题。

根据第一方面，本发明实施例提供了一种音频混音方法，适用于混音装置，比如导播过程中的混音器等，包括：获取多路音频采集器的音频数据；对每一路所述音频采集器的音频数据，分别获取对应音频采集器中的当前帧音频数据的采样后的采样点数；判断所述采样点数是否小于预设采样点数；如果所述采样点数小于所述预设采样点数，则从所述音频采集器中提取后续帧音频数据进行采样，将采样后的音频数据加入所述当前帧音频数据中作为待定音频队列，直至所述待定音频队列中的所述采样点数大于或等于所述预设采样点数，将所述待定音频队列作为目标音频队列；将每路音频采集器得到的所述目标音频队列进行混音处理，得到一帧输出混音音频。

可选地，所述当前帧音频数据为第i帧，所述从所述音频采集器中提取后续帧音频数据进行采样包括：如果在第一预设时间内第i+j帧音频数据未提取到，则从所述音频采集器中提取第i+j-1帧音频数据进行采样，其中i，j为大于0的整数。

可选地，所述获取音频采集器中的当前帧音频数据的采样后的采样点数的步骤中与所述从所述音频采集器中提取后续帧音频数据进行采样的步骤中的采样频率相同。

可选地，还包括：每隔第二预设时间分别对每一路所述音频采集器的音频数据执行一次建立目标音频队列并进行混音处理的步骤，得到总混音音频。