[发明专利]一种音乐虚拟合唱系统及方法

说明书

本发明实施例公开了一种音乐虚拟合唱系统，所述音乐虚拟合唱系统包括：人声提取模块、合唱音频生成模块、音频混合模块与合唱触发模块，所述人声提取模块从音乐中提取纯净的人声，所述合唱音频生成模块根据提取的人声生成多个具有不同音符长度、不同音色、不同相位的音频数据，所述音频混合模块将多个具有不同音符长度、不同音色、不同相位的音频数据进行混合，生成人声合唱音频文件，所述合唱触发模块接收人发出的合唱开始语音指令与合唱结束语音指令，根据人发出的合唱开始语音指令，匹配相应节点的合唱音频文件，产生合唱效果，根据人发出的合唱结束语音指令，结束合唱。本发明解决了现有音乐处理软件不能进行虚拟合唱的问题。

技术领域

本发明实施例涉及音乐处理技术领域，具体涉及一种音乐虚拟合唱系统及方法。

背景技术

随着音乐软件的快速发展，手机歌唱类APP以及传统KTV对音乐的多样性和多变性有了更多追求，对歌唱者的声音进行处理，能够达到更好的视听效果，在歌唱过程中加入更多元素，有助于提升歌唱的趣味性。

现有音乐处理软件一般能够实现单人歌唱声音的处理，实现变声或跟唱，或添加氛围营造单元，通过系统发出鼓掌声、吹口哨、喝彩声等手段来调节氛围，现有音频技术在单人音色合成上较为成熟，但是并未出现成熟的合唱处理方法，不能根据音乐的原唱人声生成多人合唱的效果，营造多人合唱的氛围，若通过提前录制真实多人合唱人声伴奏，成本高，周期长，难以实现所有歌曲的人声合唱伴奏录制。

发明内容

为此，本发明实施例提供一种音乐虚拟合唱系统及方法，以解决现有音乐处理软件不能进行虚拟合唱的问题。

为了实现上述目的，本发明实施例提供如下技术方案：

根据本发明实施例的第一方面，公开了一种音乐虚拟合唱系统，所述音乐虚拟合唱系统包括：人声提取模块、合唱音频生成模块、音频混合模块与合唱触发模块，所述人声提取模块从音乐中提取纯净的人声，所述合唱音频生成模块根据提取的人声生成多个具有不同音符长度、不同音色、不同相位的音频数据，所述音频混合模块将多个具有不同音符长度、不同音色、不同相位的音频数据进行混合，生成人声合唱音频文件，所述合唱触发模块接收人发出的合唱开始语音指令与合唱结束语音指令，根据人发出的合唱开始语音指令，匹配相应节点的合唱音频文件，产生合唱效果，根据人发出的合唱结束语音指令，结束合唱。

进一步地，所述人声提取模块利用多尺度神经网络对歌曲进行轨道分离，利用多尺度神经网络中的STL1模型分离人声和伴奏，得到纯人声音频轨道。

进一步地，所述音频混合模块包括：音符长度处理单元、音色处理单元和相位变换单元，所述音符长度处理单元在正负32分音符差异范围内对纯人声音频的音符长度进行改变，生成多个音符长度不同的音频文件，所述音色处理单元对经过音符长度调整的多个音频文件进行音色改变，所述相位变换单元改变音频文件的相位值，营造不同区域发出声音的氛围。

进一步地，所述音符长度处理单元利用librosa音频处理库中的音头获取单元获取纯人声音频的音头数据，将音头数据中的单个值做随机上下浮动处理，在正负32分音符的差异范围之间进行正态分布，生成新的音头数据，将新的音头数据还原映射到原音频文件，生成新的音频文件。

进一步地，所述音色处理单元利用音色处理软件中的MorphVOX Pro插件对音色进行调整，对不同的频段进行衰减或提升，生成不同音色的音频文件。

进一步地，所述相位变换单元对音频的相位值进行调整，对每个音频的相位值在-100至100的范围内取随机值，音频的相位值改变，则输出声道改变，多个不同相位值的音频产生舞台环绕音效果。

进一步地，所述音频混合模块对经过音符长度调整、音色调节和相位值调节的多个音频文件进行合并，经过文件压缩、延迟、混响、均衡和增益处理，得到合唱音频文件。